Sur Qwen2.5-1.5B, un rival coûte plus que 32 000 tokens neutres
Yinuo Liu, du département d'informatique de l'université de Californie à San Diego, dépose le 3 novembre 2026 une étude sur la dégradation des modèles en fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique long. À longueur et position fixes, sur cinq modèles ouverts de 0,5 à 3 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique, du texte neutre ne coûte rien, des énoncés au format de la preuve font tomber la précision, et un seul énoncé qui donne une autre valeur à la clé multiplie la perte par 9 à 110.
par Gyom 4 novembre 2026 à 13:06 5 min de lecture rubrique : Textes et documents
etiquettes : Local · Coût
La dégradation des modèles sur les entrées longues porte un nom, context rot, et une explication dominante : la longueur elle-même. L'expérience qui la soutient masque les tokens ajoutés à l'attention en gardant leurs positions, et mesure encore une perte. Yinuo Liu attaque cette lecture par un point que l'expérience laisse de côté : la longueur ne grandit jamais seule, chaque tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique ajouté ajoute aussi du contenu, et dans une entrée réelle ce contenu ressemble souvent à ce que le modèle cherche. Dans l'attention softmax, le poids de la preuve est son score divisé par la somme des scores de toutes les autres clés : mille tokens dissemblables ajoutent peu au dénominateur, quelques quasi-copies de la preuve peuvent le doubler.
Même longueur, même position, seul le contenu autour de la preuve change
La tâche tient en une phrase : retrouver le code secret d'une rivière, une valeur de quatre chiffres cachée dans le contexte, et le modèle est noté sur la log-probabilité de la bonne réponse. Pour chaque essai, quatre contextes de même longueur partagent la preuve, la question et la position de la preuve : un contexte court sans rien autour, un contexte rempli de matériau neutre, des chiffres ou des mots au hasard, ou une phrase répétée, un contexte rempli d'énoncés au format de la preuve dont les clés sont tirées parmi 51 noms communs, et un contexte où le remplissage est masqué à l'attention avec ses positions préservées. La longueur va de 512 à 32 768 tokens, la preuve tombe à une profondeur tirée uniformément, et cinq modèles passent l'essai en float16 : Qwen2.5-0.5B et 1.5B, SmolLM2-1.7B, OLMo-2-1B et Llama-3.2-3B, sur un poste Apple de 64 Go de mémoire unifiée et un portable à RTX 4090.
Quatre millièmes de nat pour du neutre, 4,76 nats pour des concurrents
Sur Qwen2.5-1.5B à 32 000 tokens, la comparaison tient en trois nombres. Le remplissage neutre laissé visible coûte 0,004 nat de perte médiane, la précision reste entre 0,96 et 1,00 à toutes les longueurs de 8 000 à 32 000 tokens et pour les trois remplissages neutres. Le même remplissage masqué coûte 1,20 nat. Remplacé par des énoncés au format de la preuve, il coûte 4,76 nats, avec une perte médiane de 2,82, 3,94, 4,03 et 4,76 nats à 8 000, 16 000, 24 000 et 32 000 tokens, et une précision qui tombe à 0,11 ou 0,21. Sur le petit Qwen2.5-0.5B, la perte va de 1,79 à 4,07 nats et la précision de 0,17 à 0,40. Un seul modèle fait exception au remplissage neutre, OLMo-2-1B, qui perd 0,57 nat à 2 048 tokens.
Un conflit sur la clé suffit : 0,020 nat sans, 2,238 avec
La perte ne se répartit pas sur tout le remplissage, elle se concentre sur les énoncés qui donnent à la clé interrogée une valeur rivale. Sur Qwen2.5-1.5B, les contextes sans aucun conflit perdent 0,020 nat en moyenne, ceux qui en portent au moins un perdent 2,238 nats, et la précision passe de 0,97 à 1,00 sans conflit à 0,25 à 0,52 avec. Les cinq modèles suivent le même ordre, de 0,020 à 0,344 nat sans conflit et de 1,381 à 3,239 avec. Le nombre de conflits croît mécaniquement avec la longueur, 0,8 en moyenne à 512 tokens, 3,2 à 2 048 et 50,5 à 32 768, et la perte croît avec lui à longueur fixe : sur Qwen2.5-1.5B à 2 048 tokens, elle vaut 0,03 nat sans conflit puis 1,37, 2,24, 2,48, 2,71, 3,26 et 3,45 nats de un à six conflits ou plus. Les énoncés qui partagent seulement le format de la preuve, sans toucher à la clé, expliquent au plus 0,3 % de la variance.
L'attention laissée à la preuve explique 58 % de la perte, la longueur 8 %
L'étude mesure, dans le même passage, la masse d'attention que huit couples de tête et de couche envoient depuis le dernier token de la question vers les tokens de la preuve. Cette quantité, notée a*, s'effondre quand le contexte porte des concurrents : de 0,51 à 0,77 en contexte court, elle tombe entre 0,17 et 0,31. Sur 126 473 essais, le logarithme de son inverse explique 35 à 58 % de la variance de la perte selon le modèle, quand le logarithme de la longueur en explique 2 à 8 %, et l'ordre tient de 8 000 à 32 000 tokens, avec 0,32 contre 0,02 sur Qwen2.5-1.5B. Une fois a* connu, le nombre de conflits n'ajoute plus que 0,04 au coefficient de détermination : tout passe par la même quantité. La relation a un seuil, près de 0,35 sur Qwen2.5-1.5B : le modèle supporte de perdre la moitié de l'attention qu'il donnait à la preuve en contexte court, puis échoue d'un coup.
Masquer le remplissage coûte 46 points là où le laisser visible n'en coûte aucun
Les auteurs reproduisent d'abord l'expérience qui fonde l'explication par la longueur, sur 1 000 questions MMLU et jusqu'à 30 000 tokens masqués : Llama-3.2-3B passe de 51,7 % à 40,5 % de bonnes réponses, Qwen2.5-7B de 65,8 % à 48,1 %, soit 11,3 à 17,7 points perdus, du même ordre que les 15,5 à 21,1 points du travail d'origine. Puis ils font le contrôle qui manquait, sur la même tâche de récupération : à 32 000 tokens, le remplissage masqué coûte 1,20 nat et 46 points de précision, quand le remplissage identique laissé visible coûte 0,004 nat et laisse la précision à 0,98. Un contexte de tokens masqués aux positions préservées n'est donc pas un contexte de tokens inutiles : il présente au modèle de longs trous de position qu'il n'a jamais rencontrés à l'entraînement, et son coût ne se lit pas comme le coût de la longueur.
Trier ce qui entre dans le contexte avant de le raccourcir
Pour une chaîne de récupération, une mémoire d'agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique ou un pipeline de documents longs, le budget utile d'un contexte n'est pas son nombre de tokens mais le nombre d'énoncés qui concurrencent la question. Dédupliquer et arbitrer les affirmations contradictoires avant qu'elles atteignent le modèle passerait donc avant le raccourcissement, et la masse d'attention sur la preuve, qui ne demande qu'un passage avant, sert de diagnostic sur tout modèle ouvert. L'étude reste prudente sur ce qu'elle établit : elle est prédictive et non causale, elle porte sur une tâche de récupération synthétique, ses modèles vont jusqu'à 3 milliards de paramètres sauf la réplication MMLU à 7 milliards, et l'analyse par conflits n'était pas préenregistrée. Le code du banc, la sonde d'attention et les 126 473 mesures sont publiés.
Source primaire arXiv 2611.04169, « Length Is Cheap, Competition Is Not: Attention Predicts Context Rot in Retrieval », Yinuo Liu, déposé le 3 novembre 2026