IAGentic

Journal de veille sur l'usage appliqué de l'IA, chez soi et en entreprise : ce qu'on lui fait faire, ce qu'il faut pour commencer, ce que ça coûte et où ça casse.

note

NVIDIA accélère le décodage des modèles hybrides avec ReplaySSM

ReplaySSM représente l'état d'une couche à espace d'état par un point de contrôle et une fenêtre de seize entrées récentes, au lieu de lire et réécrire la matrice d'état à chaque tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique. NVIDIA et le Dao AI Lab de Princeton mesurent sur quatre modèles hybrides un noyau de décodage 1,46 à 1,80 fois plus rapide à 256 requêtes simultanées, et 1,85 à 2,10 fois le débit du décodage spéculatif de vLLM à 512 requêtes.

par Gyom 13 octobre 2026 à 13:01 7 min de lecture rubrique : Machines et coûts

etiquettes : GPU · Coût

ReplaySSM vise les modèles hybrides, ceux qui entrelacent des couches à espace d'état et quelques couches d'attention : NVIDIA Nemotron 3, Qwen3.5 à Qwen3.8, Kimi-K3 et GLM-5.3-Flash sont bâtis ainsi, avec Mamba-2, Gated DeltaNet ou Kimi Delta Attention comme couche à état. NVIDIA publie la méthode le 12 octobre 2026 sur son blog développeurs, travail commun avec le Dao AI Lab de l'université de Princeton dirigé par Tri Dao, avec l'article complet sur arXiv sous la référence 2610.13778. L'idée tient en une phrase : mettre en cache les entrées de la récurrence, pas la matrice d'état.

Cinq fois plus de couches à état que d'attention, 4 Mio d'état par séquence

Une couche à espace d'état décode vite par construction : elle garde un état de taille fixe là où le cache de clés et de valeurs grandit avec le fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique. Mais à taille de lot de service, ces couches deviennent le poste le plus lourd de l'étape de décodage, jusqu'à 100 000 tokens de contexte, sur un modèle comme Nemotron-3-Super-NVFP4 à 256 requêtes simultanées sur une carte Blackwell Ultra B300. Deux raisons : le modèle compte cinq fois plus de couches à état que de couches d'attention, et l'état d'une seule couche en FP32 occupe 4 Mio par séquence là où une entrée de cache de clés et de valeurs en FP8 occupe 0,5 Kio par token, soit l'équivalent d'un cache de 8 000 tokens. Chaque pas charge cet état depuis la mémoire de la carte, applique un facteur d'oubli et une mise à jour de rang 1, puis le réécrit.

Une fenêtre de seize entrées entre deux écritures d'état

La récurrence se déroule sur une fenêtre de quelques tokens : l'état atteint après la fenêtre s'écrit comme le point de contrôle d'avant la fenêtre, décroissance cumulée comprise, plus la somme des contributions des tokens de la fenêtre. ReplaySSM s'appuie sur cette forme. Il garde un point de contrôle et un petit tampon d'enregistrements récents, le facteur de décroissance, la valeur et la clé de chaque token. Sur une étape ordinaire, il ajoute les entrées du token au tampon et calcule la sortie depuis le point de contrôle et le tampon, sans écrire d'état. Quand le tampon de seize enregistrements se remplit, une étape de vidage replie son contenu dans le point de contrôle et l'écrit une seule fois. Les sorties restent égales à celles du décodage classique aux erreurs d'arrondi près. Sur seize tokens, le décodage classique lit l'état seize fois et l'écrit seize fois ; ReplaySSM lit encore le point de contrôle à chaque pas mais ne l'écrit qu'une fois, et le trafic mémoire dominant est à peu près divisé par deux.

1,46 à 1,80 fois plus vite à 256 requêtes, rien à une seule

Le benchmarkbanc d'essaiÉpreuve normalisée, par exemple SWE-bench pour la résolution de tickets logiciels. Un score ne se compare qu'à tâche et version identiques, et ne dit rien du coût ni du temps d'exécution.Fiche du lexique couvre quatre modèles hybrides de deux familles, Nemotron 3 avec ses couches Mamba-2 et Qwen3.5 avec ses couches Gated DeltaNet, du modèle dense de 4 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique sur une H100 au mélange d'experts de classe 120 milliards sur une B300, une carte par modèle, un état en FP32 et une fenêtre de seize entrées. L'implémentation est faite dans vLLM et comparée aux noyaux de vLLM à leur meilleur réglage. À 256 requêtes simultanées, le noyau de décodage va de 1,46 à 1,80 fois plus vite et l'étape de décodage complète de 1,20 à 1,47 fois plus vite ; le gain croît avec la taille du lot, parce que la part des couches à état dans l'étape augmente. À une seule requête, d'autres sources de latence dominent et la méthode n'apporte rien.

Le brouillon s'empile, l'acceptation avance un pointeur

Le décodage spéculatif bute sur une difficulté propre à ces couches : une fois que la récurrence a résumé les tokens de brouillon dans son état, la mise à jour n'a pas d'inverse simple. vLLM contourne le problème en gardant un instantané de l'état après chaque token de brouillon, soit une lecture et autant d'écritures par étape sur un chemin limité par la mémoire, et ces instantanés plafonnent le nombre de requêtes qui tiennent en mémoire de carte. ReplaySSM empile les entrées des brouillons avant vérification, puis avance le pointeur du tampon du préfixe accepté, exactement comme un cache de clés et de valeurs : aucun instantané à écrire, aucun état à restaurer, et le vidage ne replie que les enregistrements validés. L'étape ordinaire ne produisant que la sortie, le calcul peut aussi éviter de former l'état intermédiaire : sur les brouillons, la sortie s'écrit comme le point de contrôle multiplié par les requêtes du brouillon et leurs décroissances, plus un produit des valeurs par une matrice de décroissances appliquée aux clés et aux requêtes. C'est le même découpage par blocs que celui des noyaux de préremplissage, et il se partage entre les têtes d'un même groupe.

1,85 et 2,10 fois le débit spéculatif de vLLM à 512 requêtes

Sur des invites GSM8K, quatre tokens de brouillon et une fenêtre de seize entrées, les deux modèles de classe 120 milliards atteignent 1,85 et 2,10 fois le débit du décodage spéculatif de vLLM, à longueurs d'acceptation comparables. Deux causes. La vérification est plus rapide : le noyau de vLLM écrit un instantané par token, si bien qu'à huit tokens de brouillon sa latence approche cinq fois celle d'une étape de décodage standard, là où ReplaySSM vérifie huit tokens en environ le temps d'une étape standard, vidages compris. Et la concurrence monte plus haut : les instantanés de brouillon consomment de la mémoire de carte, le décodage spéculatif classique cesse de gagner au-delà de 128 requêtes et, sur Qwen3.5-122B-A10B-NVFP4, passe sous le décodage standard à 512 requêtes, quand ReplaySSM continue de monter avec la taille du lot.

Deux précisions séparées, la divergence de 0,136 à 0,0038

Un état quantifié produit la sortie et sert d'entrée à la mise à jour suivante : son erreur d'arrondi rentre donc dans la récurrence à chaque pas, ce qu'une entrée de cache de clés et de valeurs ne fait jamais, puisqu'elle n'est pas réécrite dans le calcul suivant. Lire un état en NVFP4 au lieu de FP32 rend le noyau ordinaire 3,8 fois plus rapide sur Mamba-2. ReplaySSM sépare les deux usages : le point de contrôle qui alimente la récurrence reste en haute précision, et une copie basse précision sert aux seules lectures de sortie, si bien que son erreur d'arrondi ne touche que la fenêtre courante. Mesure sur Qwen3.5-4B, divergence de Kullback-Leibler contre un décodage à état FP32 sur le texte de PG-19 : un point de contrôle NVFP4 partagé monte à 0,136 après 128 000 tokens générés, la même lecture NVFP4 avec une récurrence FP32 redescend à 0,0038, et ce qui reste ne croît plus avec la longueur. Une récurrence en FP16 avec arrondi stochastique suit de près le FP32, ce qui suffit.

Déjà en service dans GLM-5.3-Flash et Kimi-K3

La méthode est en production. GLM-5.3-Flash sert avec ReplaySSM, et le rapport d'infrastructure de Z.ai décrit son ajout au noyau de décodage de Kimi Delta Attention ; Kimi-K3 met en cache les entrées de brouillon de ses couches à état pour la vérification et cite ReplaySSM comme approche concurrente. Elle est intégrée à TensorRT-LLM, vLLM, SGLang et FlashInfer, le code est publié sur GitHub et l'article complet est sur arXiv sous la référence 2610.13778.

Source primaire NVIDIA, blog développeurs, ReplaySSM (article arXiv 2610.13778, travail commun avec le Dao AI Lab de l'université de Princeton)

Retour au journal