VocabX coupe 77 % du coût d'inférence d'un correcteur Qwen3-4B
Dharma-AI publie le 21 octobre 2026 la méthode VocabX, qui reconstruit le vocabulaire d'un petit modèle spécialisé autour du coût de chaque tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique. Sur un correcteur de dissertations portugaises bâti sur Qwen3-4B, la réponse moyenne tombe de 350 à 101 tokens, le coût mesuré de 77,0 % et le score du banc monte de 0,703 à 0,810. Les chiffres viennent de la version en relecture du papier, encore à paraître.
par Gyom 22 octobre 2026 à 17:00 4 min de lecture rubrique : Machines et coûts
etiquettes : En entreprise · Coût · GPU
Un modèle affiné sur un domaine hérite du vocabulaire de son modèle de base, taillé pour des dizaines de langues et de formats. Sur un correcteur automatique de dissertations portugaises en production, bâti sur Qwen3-4B, ce vocabulaire découpe en plusieurs tokens ce que la tâche écrit le plus souvent : l'enveloppe JSON, les noms de compétences, les phrases d'évaluation. Il porte aussi des dizaines de milliers d'entrées que la tâche n'écrira jamais, et le modèle en calcule la probabilité à chaque token produit. Dharma-AI décrit dans un article du 21 octobre 2026 une méthode, VocabX, qui reconstruit ce vocabulaire avant toute étape d'entraînement.
Un token généré coûte 7,4 fois un token lu
La facture ne suit pas le nombre de tokens mais leur sens. Le préremplissage traite tout l'entrant en une passe et bute sur le calcul ; le décodage produit un token à la fois, relit les poids à chaque étape et bute sur la bande passante mémoire. Dans le correcteur mesuré, un token généré coûte 7,4 fois un token lu, un rapport qui varie avec le matériel, la taille du lot et la longueur de fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique. La couche de sortie ajoute sa part : une ligne de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique par entrée de vocabulaire, près de 10 % des paramètres de Qwen3-4B, relue en entier à chaque token généré.
La couche de sortie passe de 152 000 à 65 000 lignes
VocabX agit sur deux niveaux sous un même critère de coût : le découpage en sous-mots, reconstruit pour le domaine, et des tokens macro qui avalent les spans répétés, d'une expression courte à une ligne entière d'enveloppe JSON. Cinq fouilleurs automatiques cherchent ces spans, un par famille de répétition, mots longs, lignes entières, expressions, phrases complètes et structures à ponctuation. Sur huit corpus, celui des structures à ponctuation apporte le plus, et sur du code il pèse à lui seul 17,5 points de réduction ; sans les cinq, la réduction sur le correcteur perdrait 55,6 points. La couche de sortie du correcteur tombe d'environ 152 000 à environ 65 000 lignes.
Un échantillon de 400 documents ne voit que 16,6 % des candidats
Choisir un token par son coût suppose de savoir ce qu'il rapporte encore une fois les précédents retenus, et le mesurer exactement sur tout le corpus demanderait des dizaines de milliers de repassages. Dharma-AI coupe le gain en deux : la part mesurable sur le corpus entier, comptée exactement, et la part non encore couverte par les tokens déjà choisis, estimée sur un échantillon. Cette estimation traite les candidats absents de l'échantillon par une loi tirée de ceux qu'il voit, au lieu de leur donner zéro. Sur un corpus de contrats, la réduction passe de 44,7 % à 52,8 % à échantillon et budget identiques.
77,0 % de coût en moins, et un score qui monte de 0,703 à 0,810
Sept versions du correcteur sont entraînées avec le même modèle de base, les mêmes données, la même recette et la même graine : seul le tokenizer change. Les sept passent les mêmes 500 requêtes sur une RTX 5090 avec le serveur vLLM, et le coût se calcule sur le temps mesuré. La réponse moyenne tombe de 350 à 101 tokens, le coût de 77,0 %, et le score du banc, qui mêle exactitude de notation et filtrage des dissertations hors sujet, monte de 0,703 à 0,810.
La première version fusionnait la note et l'enveloppe JSON dans un seul token macro. Plus compacte, elle coûtait en qualité : score de 0,689, sous celui du correcteur en production. Rendre son token à la note ajoute deux tokens par réponse, remonte le score à 0,810 et réduit encore plus le coût, 77,0 % contre 73,3 % pour la version fusionnée. La compression a un prix quand le span compressé porte la décision que le modèle doit prendre.
Quinze combinaisons, 1,2 à 9,3 points devant la meilleure méthode de référence
La comparaison porte sur cinq domaines publics, contrats, articles médicaux, articles scientifiques, actualité et code Python, et trois familles, Qwen3, Llama-3.1 et Gemma-3, à budget de vocabulaire égal. VocabX compresse plus que la meilleure méthode de référence dans les quinze combinaisons, de 1,2 à 9,3 points, et mène aussi sur le coût d'inférenceExécution d'un modèle : une entrée, une sortie. Le calcul se sépare en un pré-remplissage de la question, puis une génération token par token.Fiche du lexique estimé, avec des marges moyennes de 10,2 points sur Qwen3, 7,5 sur Llama-3.1 et 13,6 sur Gemma-3. Sur les contrats, sa version élaguée atteint 62,6 % de réduction avec 113 426 entrées, contre 61,8 % pour la meilleure configuration d'expansion de tokenizer en place, qui en garde 207 803.
La méthode ne rend pas le modèle meilleur : elle lui évite de payer pour du texte qu'il n'a pas besoin d'écrire pièce par pièce, et de noter un vocabulaire qu'il n'emploiera jamais. Le gain tient à un réglage fait avant la première étape d'entraînement, sur un modèle de 4 milliards de paramètres servi en production. Les trois méthodes de référence citées, transfert rapide de vocabulaire, tokenisation multi-mots et expansion de tokenizer en place, choisissent leurs tokens par fréquence et non par coût, ou n'agissent que sur une seule couche.