Meta ouvre Muse Spark Open, 816 milliards de paramètres
Muse Spark Open, publié le 15 octobre 2026, active 42 milliards de ses 816 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique par tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique et tient le texte, l'image, l'audio et la vidéo dans une fenêtre d'un million de tokens. Entraîné pour la programmation agentique, il pèse environ 1,5 téraoctet en BF16 et tient sur un seul nœud B200 en NVFP4.
par Gyom 16 octobre 2026 à 07:19 3 min de lecture rubrique : Code
etiquettes : Hébergé · GPU · Quantification
Muse Spark Open est ouvert le 15 octobre 2026 sur Hugging Face, avec deux points de contrôle, Muse-Spark-Open-816B-A42B et sa version NVFP4, et des recettes de déploiement pour transformers, llama.cpp, vLLM et SGLang. Hugging Face le présente comme le modèle ouvert le plus capable publié aux États-Unis à ce jour. Il appartient à la série Muse, ouverte en août par Muse Glimmer, un petit modèle dense dont il garde le tokenizer et le gabarit de conversation, complétés pour les nouvelles modalités.
Deux cent cinquante-six experts par couche, huit sollicités par token
Le modèle de langue compte 62 couches pour une dimension cachée de 8 192. Chaque couche porte 128 têtes de requête et 16 têtes de clé-valeur de 64 dimensions, avec normalisation des requêtes et des clés, une porte en sortie et un saut résiduel appris plutôt qu'une simple addition. Muse Glimmer tenait un réseau dense par couche ; Muse Spark Open le remplace par une mixture d'experts de 256 réseaux, dont un routeur choisit 8 par token, chacun projetant de 8 192 à 4 096 puis retour. Ces experts portent environ 97 % des paramètres du modèle. Le calcul par token ne porte donc que sur 42 milliards de paramètres, mais les 256 experts restent en mémoire : le service a besoin de la place d'un modèle de 816 milliards et tourne à la vitesse d'un 42 milliards.
1,5 téraoctet en BF16, un seul nœud B200 en NVFP4
Le point de contrôle BF16 pèse environ 1,5 téraoctet en safetensors et se répartit sur quatre nœuds de huit H200, en parallélisme tensoriel sur 32 cartes. La version NVFP4, qui stocke les paramètres sur 4 bits pour les cartes Blackwell, tient sur un seul nœud B200. L'attention groupée garde le cache court pour un modèle de cette taille : chaque token ajoute 2 fois 16 têtes fois 64 dimensions fois 62 couches, soit 126 976 valeurs, environ 250 kilo-octets par token en BF16 et près de 266 gigaoctets pour un million de tokens.
Un encodeur de perception de 1,8 milliard pour l'image, la vidéo et le son
Un encodeur de perception de 1,8 milliard de paramètres, 50 couches, 1 536 de dimension cachée et 16 têtes, convertit les images et les images vidéo en tokens pour le modèle de langue. Il découpe chaque image en patchs de 14 par 14 et produit des représentations de 4 096 dimensions, avec des plongements absolus appris et un RoPE en deux dimensions ; une couche sur quatre et la dernière portent l'attention complète, les autres une attention éparse. Le son passe par un encodeur audio qui émet un token toutes les 80 millisecondes, soit 12,5 tokens par seconde : dix secondes de parole représentent 125 tokens d'entrée, marqués à leur place dans le gabarit de conversation.
Cinquante mille tokens par seconde et par GPU sur GB300 NVL72
NVIDIA, qui l'a entraîné sur sa plateforme GB300 NVL72, annonce jusqu'à 50 000 tokens par seconde et par GPU et 600 tokens par seconde et par utilisateur sur les charges agentiques, avec un décodage spéculatif sur quatre cartes Blackwell et une longueur d'acceptation de six. Le domaine NVLink de 72 GPU, à 130 téraoctets par seconde, évite au trafic des experts de franchir un réseau classique, ce qui pèse directement sur le débit réel d'un modèle qui route chaque token vers huit experts sur 256.
Un agent qui navigue, lance des sous-agents et commente ses actions
- L'entraînement vise la programmation agentique : refactoriser plusieurs fichiers, parcourir un dépôt, se remettre d'un test qui échoue et corriger son travail au fil d'une longue session.
- Le modèle cherche sur le web, images comprises, et lance puis coordonne des sous-agents quand la tâche se découpe.
- Il prend la main sur un poste de bureau, un mobile ou un navigateur, et écrit un commentaire avant chaque action pour dire ce qu'il fait et pourquoi.
- Le conditionnement par objectif et la compaction du fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique servent à tenir la direction d'une session longue sans perdre le fil du travail.
Les points de contrôle sont réunis dans une collection Meta sur Hugging Face, et les recettes publiées couvrent le texte seul comme les entrées mêlant image, vidéo et audio dans la même conversation.
Source primaire Meta et Hugging Face, Muse Spark Open, et NVIDIA, Scaling Agentic Coding Workflows on GB300 NVL72