Huit DGX Spark de NVIDIA réunis font tourner GLM 5.3 en local
NVIDIA annonce à GTC Berlin la prise en charge officielle des grappes de huit DGX Spark : 1 To de mémoire unifiée, contre 128 Go sur une machine seule, de quoi charger le GLM 5.3 complet de Z.ai. Sur Qwen3.8-27B en NVFP4, le décodage passe de 11,86 à 52,58 débittokens par secondeNombre de tokens produits par seconde en génération. Avec le temps d'attente du premier token, c'est le chiffre qui dit si un modèle est utilisable au quotidien sur une machine donnée.Fiche du lexique, et un nanochat de 896,5 millions de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique s'entraîne 7,79 fois plus vite sur huit nœuds que sur un.
par Gyom 23 octobre 2026 à 17:00 5 min de lecture rubrique : Machines et coûts
etiquettes : Chez soi · Local · GPU
Une DGX Spark porte 128 Go de mémoire unifiée. Quatre machines en alignent 512, huit atteignent 1 To, et c'est ce seuil qui change la catégorie de modèles qu'une grappe de bureau peut servir. NVIDIA a annoncé à GTC Berlin la prise en charge officielle de ces grappes de huit, avec un assistant de grappe dans NVIDIA Sync pour le montage et la gestion des machines ; cette prise en charge dans Sync est annoncée pour la fin de l'année. Le reste du billet du 22 octobre 2026 mesure ce que la grappe gagne en inference, en orchestration et en entraînement à chaque nœud ajouté.
Le GLM 5.3 complet, 753 milliards de paramètres et 470 Go en NVFP4
Le GLM 5.3 de Z.ai, 753 milliards de paramètres, occupe environ 470 Go une fois quantifié en NVFP4 : il ne démarrait pas sur quatre nœuds et tient maintenant sur les huit, ce qui en fait l'un des plus gros modèles ouverts que l'on puisse servir en local. En version Flash, NVIDIA mesure environ 80 tokens par seconde en génération. Sur le modèle complet, mesuré avec MTP3 et des entrées de 8 000 tokens, la grappe tient le préremplissage à 1 600 tokens par seconde au total et fait monter le décodage avec le nombre de requêtes simultanées :
- une requête : 1 600 tokens par seconde en préremplissage, 31 en décodage, pour cet unique utilisateur ;
- quatre requêtes : 750 en préremplissage par utilisateur, 51 en décodage au total et 21 par utilisateur ;
- huit requêtes : 473 en préremplissage par utilisateur, 67 en décodage au total et 18 par utilisateur.
RoCEnante ramène la mise en commun à un échange direct entre nœuds
Le décodage en parallélisme de tenseurs passe une part notable de son temps dans les opérations collectives, dont l'all-reduce qui additionne les résultats partiels de chaque nœud. Sur une grappe reliée par commutateur, NVIDIA évalue un backend maison, RoCEnante : chaque rang envoie son entrée à tous les autres, puis additionne localement, le tout coordonné par un seul noyau GPU. Le nombre d'étapes de communication tombe, au prix d'un volume déplacé plus élevé, ce qui devient défavorable quand les messages ou le nombre de nœuds grossissent. Le backend est fusionné dans FlashInfer et retombe sur NCCL si son test de démarrage échoue ; il ne vaut que pour les topologies à commutateur, puisqu'il suppose un échange point à point entre tous les nœuds.
Le gain se lit en efficacité de montée en charge : à huit nœuds, RoCEnante donne un facteur 4,43 au lieu de 3,05 sans lui, soit 45 % d'efficacité gagnée. Sur des mesures ponctuelles, NVIDIA relève environ 5 % de préremplissage et 21 % de décodage en plus à quatre nœuds en NVFP4, et environ 18 % de décodage en plus à huit nœuds sur le modèle non quantifié.
De 11,86 à 52,58 tokens par seconde sur Qwen3.8-27B
Sur un Qwen3.8-27B dense en NVFP4, sans décodage spéculatif, mesuré avec llama-benchy sur des entrées de 8 192 tokens et des sorties de 256, le décodage suit le nombre de nœuds : 11,86 tokens par seconde sur une machine, 21,71 sur deux en connexion directe, 32,82 sur quatre en anneau, 36,34 sur quatre avec commutateur, 40,11 sur huit en anneau et 52,58 sur huit avec commutateur et RoCEnante, soit un facteur 4,43. Le préremplissage monte beaucoup moins, de 2 635 à 5 105 tokens par seconde, parce qu'il bute sur le calcul et non sur la communication.
- quatre nœuds en anneau, sans commutateur : la configuration la moins chère pour servir un modèle unique réparti sur toute la grappe ;
- huit nœuds, ou un partage en deux groupes de quatre : l'anneau ne sait pas exprimer cette topologie, il faut un commutateur ;
- tout ce qui dépend d'échanges point à point, comme les grappes MPI : le commutateur aussi, sinon chaque saut se paie.
Switchyard : 91 sur 100 en qualité et jusqu'à trois fois le débit
Toutes les requêtes n'ont pas besoin du plus gros modèle. Sur une grappe de huit nœuds partagée, NVIDIA place un classifieur léger, MiniCPM5 2B d'OpenBMB, devant un Qwen3.8 Flash Next réservé aux cas difficiles, avec un répartiteur de charge entre les répliques. Sur un banc d'usage d'outils de 92 cas, dont des cas durs, l'agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique routé marque 91 sur 100 et retrouve la qualité de la configuration Qwen seule. En réservant trois répliques de Qwen sur deux nœuds chacune et deux répliques de MiniCPM sur un nœud, la grappe rend environ 1,5 fois le débit d'une configuration Qwen seule quand la moitié du trafic part vers Qwen, et environ 3 fois quand seul un quart y part. La politique de routage tient dans un fichier YAML.
7,79 fois plus vite en pré-entraînement, à 97,4 % d'efficacité
L'entraînement se comporte autrement : chaque nœud garde une copie complète du modèle et la seule communication est la synchronisation des gradients, une fois par pas. Sur un nanochat d'environ 896,5 millions de paramètres, vingt couches, dimension cachée de 1 280 et séquences de 2 048 tokens, le débit passe de 8 741 tokens par seconde sur un nœud à 17 202 sur deux, 33 640 sur quatre et 68 079 sur huit, avec un lot global de 524 288 tokens par pas. Le facteur final est de 7,79, pour 97,4 % d'efficacité : la montée est presque linéaire, parce qu'ajouter un nœud ajoute surtout de la mémoire et du calcul, pas de la communication.
Réunir des machines de bureau pour tenir un modèle qui ne rentre pas sur une seule n'est pas une idée neuve : quatre Mac Studio font déjà tourner Muse Spark Open 816B. Ce que NVIDIA ajoute ici, c'est la mesure, nœud par nœud, de ce que coûte et rapporte chaque façon de les relier.
Source primaire NVIDIA, Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes, blog technique du 22 octobre 2026