BlindToChange : 27,5 points perdus quand l'agent ne cherche pas
Anirudh Phukan, Tanya Goyal et Danish Pruthi déposent le 30 octobre 2026 BlindToChange, un benchmarkbanc d'essaiÉpreuve normalisée, par exemple SWE-bench pour la résolution de tickets logiciels. Un score ne se compare qu'à tâche et version identiques, et ne dit rien du coût ni du temps d'exécution.Fiche du lexique qui mesure si un agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique connecté au web découvre seul un fait qui a changé. Chaque mise à jour est posée deux fois, par une question qui la nomme et par une demande de recommandation qui ne la nomme pas. Sur les décès, l'écart médian entre les deux atteint 27,5 points à effort de raisonnement élevé, et plus de trois échecs sur quatre viennent d'un agent qui n'a pas cherché.
par Gyom 2 novembre 2026 à 17:05 6 min de lecture rubrique : Vérifier et protéger
etiquettes : En entreprise · Hébergé
Le cas d'école du papier tient en une adresse. Un utilisateur demande un itinéraire de cinq jours en Normandie. Le musée de la tapisserie de Bayeux est une étape évidente, sauf qu'il est fermé jusqu'en octobre 2027 pour travaux. Gemini-3.1-Pro le place quand même dans l'itinéraire. Posé la même question sur ce musée précis, le même modèle répond correctement qu'il est fermé et propose autre chose. Il savait chercher, il n'a pas cherché.
Une question directe, une demande qui ne nomme rien
Les auteurs formalisent la différence. Une mise à jour fait passer un fait d'un état ancien à un état nouveau, et les réponses valides à une question en dépendent. Les sondes directes demandent lequel des deux faits tient, et servent de témoin : un agent qui échoue là ne sait pas trouver l'information. Les sondes indirectes sont des demandes de recommandation où l'entité concernée est un candidat naturel avant la mise à jour et disqualifiée après. Personne ne mentionne le musée, et un itinéraire qui le contient n'est plus valide.
Le dispositif sépare deux choses que les bancs existants mélangent : savoir trouver, et savoir qu'il faut chercher. BrowseComp et DeepSearchQA annoncent dans la question ce qu'il faut trouver, donc un agent qui ne se pose pas la question de vérifier ses propres hypothèses n'y perd rien.
2 078 décès et 751 fins de mandat tirés de Wikidata
Les événements viennent de Wikidata, ce qui permet de rafraîchir le banc sans le réécrire. Deux types sont retenus, les décès et les fins de mandat officiel, parce qu'ils sont assez documentés après la date de coupure des modèles. La fenêtre va de février à juin 2026, après la coupure la plus récente, janvier 2026 pour Claude-Opus-4.7 : 2 078 décès et 751 fins de mandat, cinq sondes indirectes par événement, soit 10 390 et 3 755 candidates.
Le filtre fait le travail sérieux. Une sonde n'est gardée que si le modèle, recherche désactivée, a recommandé l'entité disqualifiée : sans cette précaution, un agent qui omet le musée par hasard passerait pour un agent qui a découvert la fermeture. Les résultats se calculent ensuite sur 200 sondes par catégorie et par modèle, une par événement, ou sur tout ce que le filtre laisse quand il en reste moins, 175 événements pour Claude-Opus-4.7 sur les mandats et 115 pour MiMo-V2.5-Pro. Le juge est Gemini-3.5-Flash-Lite : il s'accorde avec une annotation humaine sur 199 réponses sur 200 pour les décès et 197 sur 200 pour les mandats, en sondes indirectes.
40,5 points d'écart à effort faible, 27,5 à effort élevé
Huit modèles passent le banc : Claude-Opus-4.7, GPT-5.4, Gemini-3.1-Pro, Qwen3.7-Max, DeepSeek-V4-Pro-0423, Kimi-K2.6, MiMo-V2.5-Pro et GLM-5.1, chacun à deux niveaux d'effort de raisonnement, dans deux harnais. Le harnais natif est la recherche du fournisseur, celle que rencontrent les utilisateurs. Le harnais commun fixe l'outil de recherche et expose la trajectoire complète, pour comparer les modèles à outils égaux.
Sur les décès, la question directe est presque toujours résolue, avec au moins 96,5 % de justesse dans presque toutes les configurations. La demande indirecte, elle, perd 40,5 points en médiane à effort faible et 27,5 points à effort élevé dans le harnais natif. Les fins de mandat résistent mieux, 18,7 et 15,0 points, parce qu'un siège change souvent et que les modèles pensent plus volontiers à vérifier qui l'occupe encore.
L'écart est plus large sur les décès dans 23 configurations sur 27. Sous le harnais commun, la chute médiane est de 42,5 points à effort faible et 21,8 à effort élevé.
Claude Opus 4.7 ne cherche pas, et perd 70 points
Le modèle le mieux noté ailleurs obtient ici la plus mauvaise justesse indirecte sur les décès, aux deux niveaux d'effort, sous le harnais commun. Le problème n'est pas la qualité de sa recherche : quand il lance au moins deux requêtes, il répond correctement dans 79 % des cas à effort faible et 78 % à effort élevé, pour une médiane de 82 % chez les autres configurations. Il lance simplement moins de recherches, aucune sur 68 % des sondes de décès à effort faible et 23 % à effort élevé, quand aucun autre modèle ne dépasse 8 % à effort élevé. Son écart atteint 70,0 points à effort faible et 37,0 à effort élevé. Sur les mandats, où il cherche, il reste à trois points du meilleur.
GPT-5.4 présente le même profil, plus marqué à effort faible : aucune recherche sur 58,5 % des sondes de décès, et 34,0 à 52,5 points de retard sur les modèles à licence des poidspoids ouvertsConditions attachées aux fichiers de poids d'un modèle, distinctes de la licence du code qui les fait tourner. Des poids dits ouverts n'impliquent pas un logiciel libre : redistribution, usage commercial et entraînement dérivé varient d'un modèle à l'autre.Fiche du lexique, à jeu de sondes égal. À effort élevé il lance une seizième requête en médiane, cherche sur 97,5 % des sondes, et devient le plus juste du lot. Gemini-3.1-Pro est à 56,5 % de sondes sans recherche à effort faible, mais répond juste dans 80,5 % des cas quand il cherche.
L'effort de raisonnement agit sur la décision de chercher
Le passage d'un effort faible à un effort élevé réduit de 28,9 points en moyenne la part d'échecs dus à une recherche absente ou hors sujet sur les décès, presque autant que le gain moyen de justesse indirecte, 28,1 points. Sur les mandats, 9,1 points contre 9,4. Aucun autre mode d'échec ne bouge de plus de 5 points. Kimi-K2.6 fait exception : il échoue déjà peu par absence de recherche à effort faible, et reste à 78,5 %.
Le classement des trajectoires, fait par Gemini-3.7-Flash, place l'absence de vérification en tête : plus de 75 % des échecs sur les décès dans 13 configurations sur 15, et une médiane de 50 % sur les mandats. L'accord de ce classement avec une relecture humaine vaut 98,1 % sur 160 échecs de décès et 81,2 % sur 165 échecs de mandat. Un agent qui dit avoir fini sans relire son travail relève du même défaut : l'hypothèse tient lieu de vérification.
Décès et fins de mandat, deux types d'événements seulement
Le banc ne couvre que deux formes de mise à jour, choisies pour leur couverture Wikidata et pour la facilité de la notation automatique. Les auteurs indiquent que la chaîne s'étend à d'autres types, mais rien de ce qui est mesuré ici ne dit ce que donnerait une fermeture de musée, un changement de tarif ou une rupture d'approvisionnement. La conclusion qui tient est plus étroite et plus utile : trouver une information et savoir quand la chercher sont deux capacités distinctes, et la seconde se mesure en regardant si l'agent a cherché, pas seulement ce qu'il a répondu.