Apple fait tourner Muse Spark Open 816B sur quatre Mac Studio
Apple publie le 15 octobre 2026 des mesures d'inférenceExécution d'un modèle : une entrée, une sortie. Le calcul se sépare en un pré-remplissage de la question, puis une génération token par token.Fiche du lexique distribuée de Muse Spark Open, le modèle de 816 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique : sur quatre Mac Studio à puce M5 Ultra, il décode 36,73 débittokens par secondeNombre de tokens produits par seconde en génération. Avec le temps d'attente du premier token, c'est le chiffre qui dit si un modèle est utilisable au quotidien sur une machine donnée.Fiche du lexique. La même puce abaisse le temps du premier tokenPlus petite unité de texte qu'un modèle manipule. Un mot courant tient souvent en un seul, un mot rare se découpe en plusieurs morceaux. Les prix, les limites et les débits s'expriment en tokens, pas en mots.Fiche du lexique jusqu'à 4,6 fois par rapport à la génération M3 Ultra, pour environ 300 watts au pic.
par Gyom 17 octobre 2026 à 17:00 3 min de lecture rubrique : Matériel
etiquettes : Chez soi · Local · GPU
Apple publie le 15 octobre 2026 une note de son équipe de recherche sur l'inférence distribuée en MLX, la bibliothèque de calcul maison pour les puces Apple. La démonstration porte sur Muse Spark Open, le modèle ouvert de 816 milliards de paramètres dont 42 milliards actifs, servi en NVFP4 sur quatre Mac Studio à puce M5 Ultra. La note mesure aussi deux modèles denses qui tiennent, eux, sur une seule machine de 512 gigaoctets de mémoire unifiée : Qwen 3.8 27B, jusqu'à 68 gigaoctets occupés, et Mistral Medium 3.5 128B, jusqu'à 158 gigaoctets à grande fenêtre.
36,73 tokens par seconde sur quatre machines, 15,74 sur deux en pipeline
À 8 192 tokens de fenêtre, Muse Spark Open décode 36,73 tokens par seconde sur quatre Mac Studio en parallélisme tensoriel, contre 24,99 sur deux machines en tensoriel et 15,74 sur deux machines en parallélisme de pipeline. Le temps du premier token suit le même ordre : 4,8 secondes sur quatre machines, contre 8,2 sur deux en tensoriel et 8,4 sur deux en pipeline. La raison est mécanique : le pipeline découpe le modèle par profondeur et les couches restent évaluées l'une après l'autre, tandis que le tensoriel découpe chaque couche en largeur et fait travailler les machines en même temps, au prix d'un échange de tenseurs plus lourd à chaque couche.
Le modèle ne tient pas sur une seule machine, même à 512 gigaoctets
Apple chiffre le mur de mémoire : Muse Spark Open demanderait plus de 1,6 téraoctet de mémoire pour ses seuls paramètres en précision native BF16, et environ 493 gigaoctets en NVFP4 sur 4 bits. En ajoutant la mémoire des calculs intermédiaires, le modèle ne rentre pas dans un Mac Studio de 512 gigaoctets, quelle que soit la configuration. C'est ce qui impose le passage à plusieurs machines, et non un choix de confort.
Le premier token quatre fois et demie plus vite qu'une M3 Ultra
Sur un seul Mac Studio, le M5 Ultra améliore le temps du premier token jusqu'à 4,6 fois par rapport au M3 Ultra. Ce temps dépend du calcul, et les accélérateurs neuronaux du GPU M5 Ultra sont taillés pour la multiplication de matrices. La vitesse de génération, elle, dépend de la bande passante mémoire : 1,2 téraoctet par seconde sur le M5 Ultra contre 819 gigaoctets par seconde sur le M3 Ultra, ce qui donne 1,6 fois plus de tokens par seconde. Sur Qwen 3.8, la note mesure 4,1 secondes de premier token contre 18,2 sur la génération précédente, et 19,69 tokens par seconde contre 12,46.
200 watts au pic pour la M3 Ultra, 300 pour la M5 Ultra
Apple ajoute une mesure de consommation sur les mêmes charges, à 65 536 tokens de fenêtre : environ 200 watts au pic pour le Mac Studio M3 Ultra et 300 watts pour le M5 Ultra. Deux machines sobres à ce point peuvent donc être posées dans un bureau ou un logement sans aménagement électrique particulier, ce qui est le point de la note : le calcul lourd sort du centre de données.
Un second câble par paire fait gagner dix secondes au démarrage
macOS 26.2 a introduit un pilote RDMA à faible latence sur Thunderbolt 5, et MLX depuis la version 0.30.1 s'appuie dessus avec de nouvelles primitives de communication, lancées par la commande mlx.launch en mode jaccl. Apple relie ses machines en maillage Thunderbolt, chaque paire étant branchée par deux câbles : sur quatre M5 Ultra et 65 536 tokens de contexte, ce second câble fait passer le temps du premier token de Muse Spark Open d'environ 50,5 à 40,6 secondes. Le parallélisme de pipeline, plus simple à mettre en place, laisse la vitesse de génération au niveau d'une machine seule mais accélère le prétraitement des très longs contextes jusqu'à 1,8 fois, parce que MLX découpe le contexte en tranches de 8 192 tokens et les répartit.
Un serveur de modèle branché sur l'agent de codage du bureau
La note termine sur l'usage visé : lancer mlx_lm.server sur le parc de machines et y brancher un agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique de codage, OpenCode étant cité avec un fichier de configuration de six lignes. Le même serveur sert quand une seule machine suffit, seule la commande de lancement change.
Source primaire Apple Machine Learning Research, Exploring Distributed Inference with MLX on Mac Studio