Anthropic, OpenAI, Google : le classement change avec le juge
Sangdo Han et Moonsoo Kim, de la CEO Business School, déposent le 3 novembre 2026 une étude préenregistrée sur le contrôle le plus courant d'une évaluation par modèle juge : refaire la comparaison avec un juge d'un autre éditeur. Cinq modèles de trois éditeurs rejugent 4 000 duels de Chatbot Arena déjà votés par des humains, chaque duel dans les deux ordres de réponse. L'accord au verdict est faible et le classement des neuf systèmes ne survit pas au changement de juge.
par Gyom 4 novembre 2026 à 13:06 7 min de lecture rubrique : Vérifier et protéger
etiquettes : En entreprise · Hébergé · Sécurité
Un modèle juge lit une demande et deux réponses, dit laquelle est meilleure, et les verdicts agrégés donnent un taux de victoire ou un classement. Quand aucune étiquette humaine n'existe, le seul contrôle disponible consiste à refaire la comparaison avec un juge d'une autre famille de modèles, en espérant que leurs biais ne se recouvrent pas. L'étude pose deux questions pratiques sur ce contrôle : une conclusion reproduite par un juge d'un autre éditeur ressemble-t-elle davantage à ce que les votes humains auraient donné, et combien de verdicts faut-il avant qu'une conclusion tienne.
Quatre mille duels, cinq juges, chaque duel lu dans les deux sens
La matière vient d'une publication publique de Chatbot Arena, arena-human-preference-140k, qui contient 135 634 duels avec le vote de l'utilisateur. Les auteurs ne gardent que les duels à un seul tour, le premier vote de chaque conversation, les votes qui choisissent une des deux réponses, et les demandes dont la requête et les deux réponses tiennent sous 6 000 tokens : il reste 65 636 duels. Neuf systèmes ont ensuite été retenus pour former 33 paires de 111 à 183 duels, dont 4 000 duels de confirmation servent à tous les résultats publiés, et 1 000 autres au contrôle de la chaîne de traitement.
Cinq juges viennent de trois éditeurs : Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 4.5 chez Anthropic, GPT-6 Luna chez OpenAI, Gemini 3.1 Flash-Lite chez Google. Les trois modèles bon marché, Haiku, Luna et Flash-Lite, forment l'ensemble dit économique, celui des analyses entre éditeurs, pour que l'écart de prix ne se confonde pas avec l'écart d'éditeur. Chaque juge reçoit la même consigne, avec la demande et les deux réponses anonymisées, et donne un verdict A, B ou égalité après une courte justification. Chaque duel est jugé deux fois, l'ordre des réponses inversé : si les deux passages désignent le même système, il gagne, sinon le duel compte comme une égalité. Cinq cents duels de confirmation ont été jugés deux fois de plus pour mesurer la répétabilité, soit 10 000 réponses par juge. Opus refuse 76 demandes et Sonnet 39, les trois autres aucune.
Un kappa médian de 0,217 et un tau de 0,167 à 0,889
Au niveau du verdict, l'accord avec le vote humain est faible pour tous : le kappa médian vaut 0,217, avec un intervalle de confiance à 95 % de 0,193 à 0,240, très loin du seuil de 0,6 que l'étude avait posé. Au niveau du classement, la corrélation de rang médiane avec le classement humain est de 0,667, pour un intervalle de 0,556 à 0,722, sous le seuil préenregistré de 0,8. L'hypothèse principale de l'étude n'est donc pas vérifiée, et l'écart entre juges est large : Opus et Sonnet sont à 0,667, Haiku et Flash-Lite à 0,889, GPT-6 Luna à 0,167.
Sur neuf systèmes, l'écart entre 0,889 et 0,667 correspond à quatre paires sur trente-six ordonnées autrement que par les votants. Le vote majoritaire des cinq juges ne rattrape rien : son tau de 0,778 reste sous le meilleur juge seul. La cohérence à l'inversion d'ordre va de 78,5 % pour Luna à 89,4 % pour Opus, et la répétabilité à trois passages de 0,807 à 1,000. Un détail inattendu : les deux juges bon marché, Haiku et Flash-Lite, s'accordent avec les votants humains plus souvent que les deux gros modèles d'Anthropic, en kappa comme en corrélation de rang. Cela dit que leurs préférences ressemblent à celles des votants d'Arena, pas que leurs verdicts soient plus justes.
Répliquer entre éditeurs filtre un mauvais juge, au prix de la couverture
La réplication fonctionne, et pour une raison étroite. Sur les 23 paires dont la direction humaine est significative, la précision d'une conclusion répliquée par deux juges économiques d'éditeurs différents atteint 0,902 en moyenne, contre 0,804 pour un juge seul, soit un gain de 0,098 avec un intervalle de 0,052 à 0,194 et une p corrigée de 0,002. Le gain ne vient pas d'un accord qui validerait une conclusion : Haiku et Flash-Lite atteignent chacun la conclusion humaine sur 22 des 23 paires, leurs conclusions communes sont justes sur les mêmes 22, et répliquer l'un par l'autre n'ajoute rien. Il vient de Luna, juste sur 7 des 14 paires où il conclut.
Exiger l'accord d'un second juge écarte donc la plupart des conclusions fausses de Luna, sept des huit conclusions répliquées sont justes, mais il ne reste alors une conclusion que sur huit comparaisons sur 23, soit une couverture de 35 %. Et de l'intérieur, rien ne distingue l'accord de Haiku avec Flash-Lite de son accord avec Luna : les deux se ressemblent. La réplication agit comme un filtre contre un juge mal aligné, pas comme une amélioration générale de la validité.
Vingt-cinq verdicts suffisent à Haiku, Luna ne converge pas sur seize paires
Sur l'échantillonnage, les auteurs tirent 1 000 sous-échantillons de 25, 50 puis 100 duels par paire et cherchent la taille à partir de laquelle la direction obtenue est celle des données complètes dans 95 % des tirages. Haiku et Flash-Lite y arrivent avec 25 verdicts sur 22 des 23 paires, alors que les votes humains demandent 50 verdicts ou plus sur huit paires : quand ces deux juges sont d'accord avec la direction humaine, leurs verdicts sont moins bruités qu'un vote isolé. À l'inverse, Sonnet, Opus et Luna ne convergent jamais, aux tailles testées, sur 6, 8 et 16 paires, soit 26 %, 35 % et 70 % des cas.
Les trois juges économiques se trompent ensemble plus souvent que le hasard
Sur les 2 351 duels où les trois juges économiques rendent un verdict tranché, tous les trois contredisent le votant humain dans 15,8 % des cas, contre 3,5 % si leurs désaccords étaient indépendants, soit un écart de 0,122 avec un intervalle de 0,111 à 0,133. Les auteurs manient eux-mêmes le résultat avec prudence : la référence est un vote unique, et si ce votant a préféré la réponse que la plupart des lecteurs jugeraient moins bonne, tous les juges compétents se trompent ensemble sans partager le moindre biais. Au niveau des paires, où le bruit des votes isolés se moyenne, les trois juges ne partagent qu'une seule conclusion fausse sur 23, ce qui laisse une part importante au bruit des votants.
Chaque juge favorise son éditeur, et Haiku fait l'inverse
Les préférences d'éditeur sont mesurées directement, parce qu'écarter les duels où le juge évalue un modèle de son propre éditeur retirerait de 31 à 63 % de l'échantillon. Opus favorise les systèmes d'Anthropic de 0,173 point de score par rapport aux votants humains, Sonnet de 0,129, Flash-Lite de 0,193, tandis que Haiku les défavorise de 0,136 et que Luna, sans préférence pour son propre éditeur, favorise Anthropic de 0,245. Tous les juges notent les systèmes de Mistral et d'Alibaba plus bas que les votants. Le classement humain place Claude Opus 4 septième sur neuf, les juges Opus et Sonnet le placent quatrième.
Deux juges bon marché, et regarder s'ils convergent
La conclusion pratique tient en deux gestes. Prendre deux juges bon marché d'éditeurs différents reste utile, à condition de regarder ce que la réplication produit : quand les deux convergent, la conclusion est probablement solide, quand l'un ne conclut presque jamais, l'accord ne dit rien et la couverture s'effondre. Et déclarer le juge utilisé, parce que le classement change avec lui : quatre paires sur trente-six se réordonnent entre un tau de 0,889 et un tau de 0,667. L'étude reste petite, neuf systèmes, 33 paires, trois juges dans les analyses entre éditeurs, et son plan a bougé après enregistrement : un sixième juge, un modèle ouvert servi par un quatrième hébergeur, a été retiré faute de compte d'hébergement, décision consignée le 6 octobre 2026 après la lecture des résultats des trois juges Anthropic. Les identifiants de duels, tous les verdicts, le préenregistrement et le code d'analyse sont publiés avec la prépublication.