Inkling 2 Small : Thinking Machines entraîne en NVFP4 sur GB300
Thinking Machines met en ligne le 5 novembre Inkling 2 Small, un mélange d'experts de 594 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique dont 17 milliards actifs par tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique, qui accepte les images et un effort de raisonnement réglable. Le laboratoire annonce 31 sur l'index Intelligence d'Artificial Analysis contre 13 pour Inkling Small, et promet les poids sous Apache 2.0 la semaine suivante, après les tests de sûreté externes.
par Gyom 6 novembre 2026 à 13:06 3 min de lecture rubrique : Machines et coûts
etiquettes : Hébergé · GPU · Coût
Thinking Machines ouvre le 5 novembre Inkling 2 Small, deuxième génération de sa famille de modèles, un mélange d'experts de 594 milliards de paramètres dont 17 milliards actifs par token, avec entrée d'images et effort de raisonnement réglable. Le laboratoire annonce 31 sur l'index Intelligence d'Artificial Analysis, contre 13 pour Inkling Small, et 30,6 dans le tableau de comparaison qui accompagne son annonce.
68 heures sur GB300, entraînement natif en NVFP4
La première phase de pré-entraînement avale 8,4 billions de tokens mêlant langue, code et images, en 68 heures sur des racks GB300 NVL72, ce qui permet un fort parallélisme d'experts. L'entraînement tourne nativement en NVFP4, le format flottant 4 bits introduit avec l'architecture Blackwell, et Thinking Machines annonce un billet détaillé sur sa recette.
Quatre phases, jusqu'aux trajectoires d'agents
Une deuxième phase ajoute 3,8 billions de tokens de données plus récentes et de meilleure qualité, à 512K de contexte. La troisième mêle environ 320 milliards de tokens de raisonnement et de trajectoires d'agents à 1M de contexte, avec une part de données de pré-entraînement reprises du même corpus. La quatrième ne garde que 34 milliards de tokens de trajectoires d'agents. Ces mélanges viennent surtout d'échantillons tirés de modèles antérieurs, dont Kimi K3, filtrés sur la justesse et sur l'alignement.
L'apprentissage par renforcement porte sur des centaines de milliers de tâches de code longues, réparties sur plusieurs harnais et plusieurs stratégies de compaction de contexte. Le codage pèse 38,5 % des rollouts mais 65 % des tokens ; l'usage d'outils et les agents généraux 17,1 % des rollouts pour 2,3 % des tokens. Le laboratoire dit avoir dépassé la seule récompense par tests unitaires, avec un juge agentique qui note la démarche suivie et pas seulement le code qui passe.
Tenir ce rythme a demandé des travaux d'infrastructure : entraînement et échantillonnage en NVFP4 sur des graphes CUDA, routage collant et déport du cache KVKV cacheMémoire intermédiaire qui conserve les états d'attention déjà calculés pour ne pas les refaire à chaque nouveau token. C'est ce qui rend la conversation suivie supportable en coût de calcul.Fiche du lexique en mémoire vive pour garder plus de 93 % de succès de cache de préfixes, ce qui permet de maintenir un rapport de cinq échantillonnages pour trois pas d'entraînement malgré les contextes longs. Le transfert des poids passe par GPUDirect RDMA, avec une somme de contrôle invariante au parallélisme.
86,3 % sur SWE-Bench Pro, 5,7 % sur Terminal Bench Science
Les scores sont en dents de scie. Inkling 2 Small prend 86,3 % sur SWE-Bench Pro v2 (Hard), derrière les 88,2 % de Kimi K3, 72,1 % sur DeepSWE v1.1 et 25,4 % sur FrontierCode v2.0. Il tombe à 5,7 % sur Terminal Bench Science 0.1, où DeepSeek-V4.1-Flash prend 12,9 %, et à 31,9 % sur PostTrainBench v1.2, derrière les 36,8 % de GLM-5.3-Flash.
Sur PMPP-Hard, banc d'optimisation de noyaux GPU noté sur quatre tentatives et dix heures, il résout 54,25 tâches sur 69 en moyenne, pour une aire sous la courbe de 494,27 heures-tâches. GPT-6 Astra en résout 63 et DeepSeek-V4.1-Flash 55,25. Sur une tâche d'autoresearch qui demande d'accélérer l'attention creuse de DeepSeek-V3.2, sa meilleure courbe atteint 6,02 fois la vitesse d'origine, contre 18,80 fois pour Claude Opus 5.5 et 10,26 fois pour GPT-6 Astra.
Poids fermés au lancement, Apache 2.0 la semaine suivante
Le modèle n'est disponible que sur Tinker, avec des poids fermés, et une promesse : la publication complète sous licence Apache 2.0 la semaine suivante, une fois les tests de sûreté externes et le red teaming terminés. Les points de contrôle affinés seront téléchargeables à ce moment-là, et le modèle rejoindra d'autres plateformes dans les semaines qui suivent.
Le laboratoire reconnaît aussi les défauts. Inkling 2 Small est moins réglé pour la conversation : présentation plus pauvre, usage excessif des barres obliques, réactions disproportionnées aux requêtes qui touchent la santé mentale. Côté sûreté, il obtient 83,8 % sur FORTRESS en version adversariale et 82,0 % sur DistressBench, quand Muse Spark Open prend 92,4 % et 87,7 %.
Source primaire Thinking Machines Lab, « Introducing Inkling 2 Small », 5 novembre 2026