StarSkirmish : GPT-6 Astra écrit le meilleur bot StarCraft
StarSkirmish Bench publie le 15 octobre 2026 un relevé où chaque grand modèle écrit en une heure un bot Protoss en C++ pour StarCraft: Brood War, puis l'oppose à des bots humains. GPT-6 Astra arrive en tête, GPT-6.1 Sol suit à un dixième du coût par passage, et le meilleur bot écrit par un modèle ne gagne que 7 % de ses parties contre les trois meilleurs bots humains.
par Gyom 18 octobre 2026 à 07:22 3 min de lecture rubrique : Automatiser
etiquettes : Hébergé · Coût
Le relevé est publié le 15 octobre 2026 sur starskirmish.com. Chaque modèle reçoit une heure de temps réel pour écrire un bot Protoss en C++, en partant d'un squelette qui se contente de miner, avec le code source de trois bots de démonstration et deux bibliothèques, FAP pour la simulation de combat et BWEM pour l'analyse de carte. Le contenu du dossier au terme de l'heure est la version finale : le modèle doit donc garder sa compilation intacte tout du long, et il dispose d'outils pour compiler, jouer des parties d'entraînement et lire les résumés, transcriptions et journaux de chaque partie. Les parties se jouent sur trois cartes du circuit, Heartbreak Ridge, Benzene et Destination, par l'intermédiaire de BWAPI 4.4.0 sur OpenBW, et une partie qui atteint le plafond de soixante minutes se juge au score de destructions, comme sur l'échelle BASIL.
Chaque laboratoire passe par son propre outil de ligne de commande
La première version du banc faisait tourner tous les modèles dans un même outil tiers, à effort de raisonnement élevé. La deuxième passe chacun par l'outil de ligne de commande de son laboratoire, au réglage d'effort le plus haut qu'il propose, et chaque outil condense le fenêtre de contextecontexteQuantité de tokens qu'un modèle peut lire d'un seul coup, question et réponse comprises. Au-delà, il faut découper, résumer ou chercher ailleurs.Fiche du lexique du modèle vers 250 000 tokens quand la conversation approche de cette taille.
- Claude Code 2.1.296 : Claude Opus 5.5, Fable 5.1, Sonnet 5.5 et Haiku 5.5
- Codex 0.162.1 : GPT-6 Astra, GPT-6.1 Sol et GPT-6 Luna
- Antigravity CLI 1.3.5 : Gemini 4 Argon, au réglage high, le plus haut qu'il accepte
- Muse Code 1.4.7 : Muse Wonder Full
GPT-6 Astra premier, GPT-6.1 Sol deuxième pour un dixième du prix
Le score est la moyenne des taux de victoire des cinq exécutions d'un modèle contre un plateau de treize bots, dix écrits par des humains et trois de démonstration, six parties par carte sur des graines neuves. GPT-6 Astra prend la première place, devant GPT-6.1 Sol, qui offre le meilleur rapport entre score et coût : Sol est le seul modèle du quadrant le plus intéressant, deuxième au score pour un peu plus d'un dixième du coût d'un passage d'Astra. Derrière eux, Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 se tiennent entre 37 et 39 points.
Le meilleur bot gagne 7 % de ses parties contre les meilleurs bots humains
La saturation n'est pas en vue. Contre Stardust, PurpleWave et BananaBrain, les trois bots humains les plus forts du plateau, GPT-6 Astra, le meilleur modèle, ne gagne que 7 % de ses parties. Le relevé note que l'heure de raisonnement disponible pèse, mais que ces parties se jouent sur trois cartes à deux joueurs, alors que les tournois de bots écrits par des humains se déroulent dans des conditions nettement plus dures.
Ce qui prédit le score, c'est le nombre de parties jouées contre les forts
Chaque exécution garde la tracetrace d'exécutionJournal détaillé d'une exécution d'agent : appels, arguments, résultats, erreurs. C'est ce qu'il faut conserver quand un agent échoue, et la seule façon de savoir ce qu'il a vraiment fait.Fiche du lexique de l'heure employée, et le meilleur prédicteur du score est le nombre de parties d'entraînement jouées contre les sept bots les plus forts du plateau. GPT-6 Astra, GPT-6.1 Sol et Gemini 4 Argon s'y mesurent tôt, alors que leurs propres bots perdent encore contre eux ; Muse Wonder Full, Claude Haiku 5.5 et GPT-6 Luna le font rarement ou jamais. Claude Fable 5.1 est l'exception : 37 points en s'entraînant presque uniquement contre des bots plus faibles.
Les cinq exécutions d'un même modèle ne se valent pas non plus. Gemini 4 Argon écarte sa meilleure et sa pire de 18 points, contre 9 pour GPT-6 Astra et 8 pour Claude Opus 5.5. Gemini 4 Argon et Muse Wonder Full remplacent Gemini 3.8 Flash et Muse Spark 1.3 du premier relevé, où GPT-6 Astra et Claude Opus 5.5 étaient déjà engagés.
Source primaire StarSkirmish Bench v0.2, Kai McPheeters, relevé du 15 octobre 2026