IAGentic

Journal de veille sur l'usage appliqué de l'IA, chez soi et en entreprise : ce qu'on lui fait faire, ce qu'il faut pour commencer, ce que ça coûte et où ça casse.

papier

LazyFlash allège la rétropropagation de l'attention, 5,72 fois

Un papier déposé le 22 octobre 2026 sur arXiv garde le passage avant de l'attention exactement dense et ne retire du calcul que la rétropropagation. LazyFlash classe les blocs de requêtes par la norme du gradient de leur sortie, saute ceux qui ne pèsent presque rien dans la mise à jour des poids, et laisse un budget de masse de gradient fixer la part sautée. Sur Qwen3-8B affiné pour le fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique long, la rétropropagation de l'attention tombe de 1 429,8 à 507,4 millisecondes par microbatch, et le score LongBench-Pro monte de 29,64 à 30,24. À 32 000 tokens, le gain atteint 5,72 fois sur l'attention arrière et 1,66 fois sur le pas d'entraînement complet.

par Gyom 26 octobre 2026 à 07:18 7 min de lecture rubrique : Machines et coûts

etiquettes : GPU · Coût

Trois grands engrenages de laiton en prise, vus de face et occupant toute l'image, le tout dessiné à l'encre sur trame d'imprimerie.

L'entraînement d'un modèle de langue sur de longues séquences bute sur l'attention, dont le coût croît avec le carré de la longueur alors que le reste du modèle croît linéairement. Les méthodes d'attention creuse visent presque toutes l'inférence : elles entraînent souvent de façon dense, ou ne savent pas entraîner en creux, et la complexité qu'elles ajoutent se traduit rarement par un gain d'horloge. C'est ce constat qui ouvre le papier.

Le passage arrière fait deux fois le travail du passage avant

Le point de départ est un partage de travail. Dans la rétropropagation, le passage arrière de l'attention demande environ deux fois le calcul du passage avant, et le gradient qu'il transporte se répartit très inégalement entre les blocs de requêtes : un bloc dont le gradient de sortie est faible ne contribue presque rien au gradient des poids. FlashAttention découpe déjà le calcul en tuiles de requêtes et de clés, ce qui permet de retirer du travail au grain du bloc et non de l'entrée individuelle.

LazyFlash ne touche pas au passage avant, qui reste identique à celui de FlashAttention. Le modèle entraîné reste donc un modèle dense ordinaire, qu'une pile d'inférence comme vLLM sert sans modification : le calcul retiré à l'entraînement ne se paie pas à l'inférence, et il n'y a pas de noyau creux à maintenir côté serveur.

Un budget sur la masse de gradient, et un tirage qui garde le gradient non biaisé

Le classement se fait sur la norme du gradient de sortie de chaque bloc de requêtes. Le budget, appelé delta dans l'article, borne la part de masse de gradient que l'on accepte de jeter : plus il est élevé, plus le calcul sauté est important, et la part sautée s'adapte à chaque tête et à chaque pas d'entraînement au lieu d'être fixée une fois pour toute la campagne.

La sélection n'est pas un tri sec. Chaque bloc est gardé avec une probabilité proportionnelle à son gradient, et les blocs gardés sont repondérés pour que le gradient reste non biaisé en espérance. Les tuiles écartées ne sont jamais chargées ni calculées, ce qui sépare un gain de calcul d'un gain d'horloge : c'est là que beaucoup de méthodes creuses perdent leur avance une fois mesurées.

Sur LongBench-Pro, 30,24 contre 29,64 pour l'attention dense

L'évaluation porte sur Qwen3-8B-Base affiné sur un mélange à parts égales de LongAlign-10k, environ 10 000 instances d'instructions longues, et d'instructions générales tirées de ShareGPT, puis mesuré sur LongBench-Pro, 1 500 échantillons anglais et chinois allant jusqu'à 256 000 tokens. L'affinage fait passer le score global de 19,70 à 29,64 en attention dense : le terrain est donc celui où un défaut d'attention se verrait.

LazyFlash rend 30,24 et prend la tête des modèles affinés sur le score global. Le plus grand écart tombe sur le découpage difficile, 27,51 contre 25,40. Il recule sur le découpage facile, 40,88 contre 41,78, seul endroit du tableau où l'ordre s'inverse. Le temps d'attention par microbatch pendant l'entraînement donne la contrepartie.

Le cas de MoBA éclaire le partage. Sa parcimonie commence dès le passage avant, qui doit construire des représentants de blocs, les noter contre chaque requête et retenir les meilleurs avant de calculer la moindre attention. Le passage avant paie, et le modèle entraîné hérite de ce choix, ce qui oblige à l'évaluer en trois configurations d'inférence : 24,48 servi en creux, 23,64 en creux au préremplissage seul, 29,37 en dense. Il ne rejoint l'attention dense qu'en abandonnant la parcimonie qui le justifiait.

Le choix des blocs pèse plus que la quantité sautée

Quatre règles de sélection sont comparées à temps de rétropropagation égal, toutes dans la même implémentation CUDA. Ce protocole sépare ce qui vient de la quantité de calcul retirée de ce qui vient du signal qui choisit les blocs.

Deux différences expliquent l'écart entre les deux dernières lignes, qui sautent pourtant la même quantité de calcul. Une fraction fixe se choisit une fois pour toute la campagne, là où le budget s'adapte et ne garde que 18 % des blocs à 8 000 tokens et 10 % à 32 000. Le top-k retire aussi les mêmes blocs à chaque pas, alors que la sélection change d'un pas à l'autre chez LazyFlash.

Un budget qui ne se transpose pas du texte à la parole

Le budget se règle par usage. Sur le texte, la qualité est la meilleure à 0,1 et se dégrade au-delà, jusqu'à 22,32 à 0,3. La parole longue tolère beaucoup plus : elle continue de progresser à 0,4, valeur retenue pour cette modalité, et l'entraînement diverge à 0,5.

Le modèle de parole reprend la même base Qwen3-8B, accouplée à un encodeur Conformer et entraînée sur 50 000 heures de parole anglaise longue, avec des extraits de test de dix minutes. LazyFlash passe devant l'attention dense sur toutes les colonnes.

L'explication avancée par les auteurs tient à la redondance de la parole, où les trames voisines se ressemblent : sauter les blocs à faible gradient réduirait la sensibilité au contexte répétitif ou bruité tout en gardant ceux qui comptent pour la mise à jour. En temps, la rétropropagation de l'attention sur parole passe de 1 091,9 à 446,4 millisecondes, 2,45 fois plus vite, pour un passage avant inchangé à 391,7.

À 32 000 tokens, 5,72 fois sur l'attention arrière

Le gain suit la longueur de contexte, parce que la part de l'attention dans un pas d'entraînement croît avec elle. Les mesures portent sur des exemples LongAlign tronqués à chaque longueur.

Le plancher est le passage avant, qui reste dense : sur l'attention complète, le rapport plafonne donc à 2,56 fois là où la seule rétropropagation atteint 5,72. C'est le prix assumé du choix de départ, et la raison pour laquelle le modèle reste servi par une pile ordinaire.

Trois tailles de modèle, 19 découpages sur 21

Le protocole est repris tel quel sur Qwen3-4B et Qwen3-14B, mêmes données, même nombre de pas, même budget de 0,1. La référence dense progresse avec la taille, 24,79 puis 29,64 puis 31,17, et LazyFlash garde l'avantage : plus 1,76 point à 4 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique, plus 0,60 à 8, plus 2,43 à 14. Il gagne 19 des 21 découpages, et les sept du modèle 14B, avec une rétropropagation 2,85, 2,82 et 2,93 fois plus rapide selon la taille.

Toutes les mesures sont prises sur huit GPU H200, avec une longueur maximale de 65 536 tokens. La sélection est un pipeline CUDA dont le noyau arrière de FlashAttention consomme directement les poids par bloc.

Pour qui affine un modèle sur de longs contextes, l'apport se lit en une phrase : le calcul retiré est celui qui ne change presque rien aux poids, et le modèle qui en sort se sert comme n'importe quel modèle dense. Le prix est un budget à régler par modalité, 0,1 sur le texte et 0,4 sur la parole, et une implémentation noyau à maintenir, puisque le gain n'existe qu'à l'intérieur du noyau arrière.

Source primaire arXiv 2610.31911, LazyFlash, dépôt du 22 octobre 2026

Retour au journal