ASTC coupe 50,68 % des paires d'attention d'un agent Qwen3.5-9B
Un papier déposé le 30 octobre 2026 décrit ASTC, une compression du fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique d'agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique qui ne s'entraîne pas : le modèle lit dans son propre état récurrent ce qu'il a déjà absorbé, porte cette information en tokens mous et garde les valeurs exactes en tokens durs. Le cache de décodage devient réutilisable d'une décision à l'autre. Sur OfficeBench, la justesse passe de 48,42 % à 47,37 % quand les paires d'attention tombent à 49,32 % du niveau de base.
par Gyom 2 novembre 2026 à 13:13 4 min de lecture rubrique : Machines et coûts
etiquettes : Local · Coût
Un agent de longue haleine accumule les observations d'outils : sorties de terminal, pages lues, réponses d'API. Chaque nouveau tour les repasse au modèle, et le coût croît avec l'historique. Les compresseurs existants réécrivent ce contexte en séquences plus courtes, soit par une consigne, soit par un modèle entraîné pour cela. ASTC prend un autre chemin : il ne réécrit rien, il retire ce que le modèle a déjà lu et le remplace par des tokens mous, en laissant les valeurs exactes en clair.
L'état récurrent dit ce qui est déjà absorbé
Les modèles hybrides qui alternent couches d'attention et couches récurrentes à porte delta, dites GDN, tiennent un état qui résume le passé. Ce que ces couches ont laissé passer est, par construction, ce que les couches suivantes n'ont plus besoin de relire en clair. ASTC lit cet état en fin de couche précoce, décide de ce qui est absorbé, et le remplace par des tokens mous à l'entrée des couches suivantes. Les identifiants, les nombres et les chaînes de caractères, qui se recopient mal depuis un résumé, restent en tokens durs.
Rien n'est entraîné. Le gain ne vient pas d'un modèle auxiliaire mais du calcul que le modèle fait déjà, et la séquence raccourcie produit un cache KVKV cacheMémoire intermédiaire qui conserve les états d'attention déjà calculés pour ne pas les refaire à chaque nouveau token. C'est ce qui rend la conversation suivie supportable en coût de calcul.Fiche du lexique compact qui se réutilise sur les décisions suivantes de la même trajectoire. Un compresseur externe, lui, repaie son travail à chaque tour.
Trois bancs, un modèle gelé
L'évaluation tient Qwen3.5-9B gelé et le confronte à trois tâches longues : AppWorld, OfficeBench et un banc de questions à huit objectifs. Les témoins sont le modèle sans compression, une compression par consigne, LLMLingua et LLMLingua-2, ACON UT et UTCO, et LCLM. Quatre charges sont mesurées et ramenées à 100 pour le modèle de base : justesse, cache de décodage, paires d'attention, tokens générés. Les paires d'attention comptent les couples requête-clé causaux sur le préremplissage, le décodage et les appels auxiliaires, donc tout le travail d'attention de la trajectoire, pas seulement le dernier tour.
OfficeBench : 48,42 % à 47,37 % pour la moitié des paires d'attention
Sur OfficeBench, le modèle de base répond juste dans 48,42 % des cas. ASTC descend à 47,37 %, avec le cache de décodage à 54,52 % du niveau de base, les paires d'attention à 49,32 % et les tokens générés à 69,23 %. C'est de ce banc que vient le 50,68 % du titre du papier, et c'est le seul des trois où la justesse recule.
La compression par consigne fait mieux en justesse sur ce banc, 52,63 %, mais elle utilise plus de cache de décodage, 83,09 %, et plus de tokens générés, 91,42 %, qu'ASTC.
AppWorld : la seule méthode qui gagne en justesse en baissant les trois charges
Sur AppWorld, ASTC est la seule méthode comparée qui améliore la justesse, de 32,14 % à 33,33 %, tout en réduisant les trois charges : cache de décodage à 81,55 % du niveau de base, paires d'attention à 80,70 %, tokens générés à 94,83 %. Les autres paient ailleurs. LLMLingua v1 s'effondre à 5,36 % de justesse avec 159,75 % de paires d'attention, LLMLingua-2 à 7,14 % avec 3 364,23 %, ACON UTCO tient 30,36 % mais consomme 1 130,67 % de paires d'attention.
LCLM affiche le cache de décodage le plus bas, 23,94 %, mais 1 643,65 % de paires d'attention pour 6,55 % de justesse. Sur le banc à huit objectifs, il ne répond correctement à aucune question.
8-Objective QA : 30,56 % d'exactitude contre 28,28 %
Sur le banc de questions à huit objectifs, ASTC passe de 28,28 % à 30,56 % en exactitude et de 37,34 % à 38,46 % en F1, avec le cache de décodage à 78,69 %, les paires d'attention à 98,51 % et les tokens générés à 86,55 %. ACON UTCO descend plus bas sur les deux premières charges, 42,99 % et 14,62 %, mais rend 28,54 % d'exactitude, contre 30,56 % pour ASTC.
35,57 % de paires d'attention en moins sur Qwen3.8-27B, 3,82 % de tokens en plus
Deux autres modèles passent le même protocole sur AppWorld. Sur Qwen3.8-27B, la justesse recule de 78,57 % à 77,98 %, le cache de décodage baisse de 8,30 %, les paires d'attention de 35,57 %, mais les tokens générés augmentent de 3,82 %. Sur Kimi-Linear-48B-A3B, la justesse monte de 1,47 % à 4,41 % avec 15,99 % de cache de décodage et 11,24 % de paires d'attention en moins. Les deux modèles Qwen portent 168 tâches, Kimi 68.
15,4 à 103,7 fois moins de paires d'attention par tâche réussie
Le chiffre qui compte pour un agent n'est pas la charge par tour mais la charge par tâche menée à son terme, puisque les méthodes qui se trompent consomment aussi. Ramenée à la tâche réussie, la comparaison contrôlée place ASTC à la justesse la plus haute et aux paires d'attention les plus basses, avec un avantage de 15,4 à 103,7 fois sur les compresseurs entraînés.
La compression ne porte que sur les observations d'outils éligibles, et sur Qwen3.8-27B les tokens générés augmentent : le gain n'est pas uniforme d'un squelette à l'autre. La question du coût du contexte n'est pas neuve, combien de tokens brûle un agent se mesure mal, mais elle change de forme quand le cache se réutilise au lieu d'être reconstruit.