OR-License juge onze agents sur 31 missions de conseil payées
Trente et une missions de recherche opérationnelle, dix scénarios industriels, des contrats de conseil payés pour 3,68 millions de dollars : le banc OR-License part des documents clients d'origine et des livrables que ces clients avaient acceptés. Onze modèles de frontière passés dans des harnais d'agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique n'égalent pas la référence experte, le meilleur réglage Claude Code atteignant 0,87 contre 1. Le papier est déposé sur arXiv le 16 octobre 2026.
par Gyom 22 octobre 2026 à 13:00 2 min de lecture rubrique : Automatiser
etiquettes : En entreprise
Les bancs de recherche opérationnelle partent en général d'un énoncé déjà reformulé par un expert, avec la fonction objectif donnée. Le travail réel d'un consultant commence plus tôt : lire les documents du client, trouver les contraintes, formuler le problème, livrer un fichier exploitable. OR-License prend ce travail comme objet de mesure, et le papier de Peisong Wang et de ses coauteurs est déposé sur arXiv le 16 octobre 2026.
31 missions tirées de contrats payés 3,68 millions de dollars
Le banc compte 31 instances réparties sur 10 scénarios industriels, toutes tirées de missions de conseil payées, pour un total de 3,68 millions de dollars d'engagements. Chaque instance conserve les exigences d'origine, les données d'entrée, le format attendu du livrable et les frontières d'information du dossier, après anonymisation. Les auteurs ont construit l'évaluation cachée après coup : elle vérifie la faisabilité du livrable et compare la qualité de l'objectif atteint à celle des solutions expertes que les clients avaient acceptées avant que le banc n'existe.
Aucun agent n'atteint la référence experte, même en la dépassant localement
Onze modèles de frontière sont passés dans des harnais d'agent. Plusieurs dépassent la solution de référence sur la qualité d'objectif conditionnelle, c'est-à-dire quand le livrable est réalisable. Aucun n'égale le score global, appelé Deployment-Adjusted Quality, qui compte zéro pour tout livrable irréalisable. Le meilleur réglage Claude Code atteint 88,39 % de faisabilité stricte et un score de 0,87, contre 1 pour la référence experte. Un plan excellent mais infaisable ne rapporte donc rien dans cette mesure.
Le client simulé livre les faits, pas la méthode
Pour observer comment un agent va chercher l'information, les auteurs ajoutent ORSim, un simulateur de client contrôlé qui révèle des faits métier sans fournir l'expertise de recherche opérationnelle. Le résultat déplace l'idée qu'on se fait de la question de clarification : l'acquisition d'information sert aussi à développer la solution et à la valider, et certaines étapes tardives du travail affichent des proportions plus élevées de problèmes effectivement résolus après confirmation.
Les échecs se lisent dans la formulation et l'implémentation
L'analyse des trajectoires range les échecs en deux familles, la formulation du problème et son implémentation. Ramenés à des tâches comparables, les taux d'achèvement des chaînes de recherche vont de 24 % à 45 % selon le modèle, sur les tâches évaluables. Les auteurs en tirent trois exigences pour les agents de longue haleine : résoudre les manques d'information au lieu de les contourner, formuler le problème fidèlement, et relier chaque amélioration à une preuve.
Source primaire arXiv 2610.24087, OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners, Peisong Wang et ses coauteurs