NVIDIA sort Dory 1.0, un 4B qui règle son calcul par token
NVIDIA publie le 16 octobre 2026 Dory 1.0, un modèle de 4 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique dont la pile de couches est réappliquée plusieurs fois : le même point de contrôle sert alors plusieurs budgets de calcul, sans réentraînement ni changement de modèle. Sur l'écriture de code, il passe de 50,3 % à 61,8 % de réussite sur SWE-bench Verified entre une et quatre boucles, au-dessus des 54,7 % de Qwen3.5-4B, et la fiche reste en retrait du même modèle de référence sur les questions de culture générale.
par Gyom 18 octobre 2026 à 13:02 3 min de lecture rubrique : Code
etiquettes : Local · Quantification · Coût
Le modèle s'appelle Dory 1.0, il tient en 4 milliards de paramètres, et NVIDIA le publie le 16 octobre 2026 sur Hugging Face sous licence OpenMDW-1.1, utilisable en commercial comme en non commercial. Son architecture n'est pas un transformeur ordinaire : la pile de couches est découpée en trois groupes, entrée, récurrent et sortie, et seul le bloc récurrent est réappliqué. La fiche donne les tailles, huit couches pour l'entrée, vingt pour le bloc récurrent, huit pour la sortie, et précise que l'entrée est réinjectée à chaque boucle.
Le nombre de boucles remplace le changement de modèle
Le point de contrôle est unique et sert plusieurs budgets de calcul : c'est en changeant le nombre de passages dans le bloc récurrent que l'on échange du calcul contre de la justesse, sans réentraîner le modèle et sans en charger un autre. La fiche en tire deux conséquences. Le modèle produit moins de tokens pour résoudre une même tâche, parce que le calcul supplémentaire se dépense dans l'espace latent plutôt que dans un raisonnement écrit plus long, et le cache d'attention ne gonfle pas avec les boucles : une option de cache au dernier passage ne garde qu'un cache par couche d'attention récurrente, si bien que le coût mémoire rejoint celui d'un modèle non bouclé, quel que soit le nombre de passages. Le contexte annoncé monte à 256 000 tokens.
Préentraîné en NVFP4, publié en quatre formats
Dory est bâti sur une charpente normalized-GPT et préentraîné nativement dans le format NVFP4 de NVIDIA, un format à virgule flottante de 4 bits, avant de continuer son entraînement en BF16. La fiche publie le modèle en quatre formats, ce qui permet de choisir la précision selon la carte et la place disponible.
- BF16, la version de référence de la fiche
- MXFP8, pour les accélérateurs qui manipulent ce format nativement
- NVFP4, le format du préentraînement, le plus économe en mémoire
- Q5_K_M, une quantificationquantizationRéduction de la précision des poids et parfois des calculs, de seize bits vers huit, quatre ou moins. Elle fait tenir un modèle en mémoire et accélère le débit, en échange d'une perte de qualité qui se voit d'abord sur les petits modèles.Fiche du lexique au format GGUFFormat de fichier de modèle utilisé par llama.cpp et ses dérivés. Le nom du fichier indique la quantification, par exemple Q4_K_M, ce qui suffit à savoir combien de mémoire il demande.Fiche du lexique pour les moteurs grand public
61,8 % sur SWE-bench Verified à quatre boucles, contre 54,7 % pour Qwen3.5-4B
Les chiffres sont ceux de NVIDIA, mesurés sous un dispositif unique, la suite NeMo Gym et le kit d'évaluation Nemotron, et l'écart entre les boucles se lit d'une colonne à l'autre. Sur SWE-bench Verified, Dory passe de 50,3 points à une boucle à 59,5 à deux et 61,8 à quatre, quand Qwen3.5-4B en obtient 54,7 et Qwen3.5-9B 61. Sur Terminal-Bench 2.1, il monte de 12,5 à 22,2 points contre 15 pour Qwen3.5-4B, et sur la banque τ³-bench il finit à 14,69 contre 5,03. Le suivi d'instructions le sépare aussi nettement de son gabarit de taille, 79 points sur IFBench contre 53,83.
L'avantage n'est pas général. Sur GPQA Diamond, Dory plafonne à 72,16 points à quatre boucles, sous les 77,71 de Qwen3.5-4B, et sur Humanity's Last Exam il reste à 10,43 contre 11,31. Les scores de culture générale du modèle de référence sont également devant, 15,02 contre 10,03 pour la précision de la mesure AA-Omniscience, et la fiche signale que ces scores maison peuvent s'écarter de ceux de l'éditeur qui les publie. La prise en charge du modèle dans vLLM est encore à l'étude dans une demande de fusion non intégrée, et la fiche donne la commande de lancement avec deux boucles et le cache au dernier passage, sur une longueur maximale de 262 144 tokens.
Source primaire NVIDIA, fiche du modèle NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 sur Hugging Face, publiée le 16 octobre 2026