WhoWins : la consigne du message système perd chez les Qwen
Trois auteurs déposent le 23 octobre 2026 WhoWins, 1 080 scénarios notés par code où jusqu'à cinq consignes s'excluent, passés à 14 modèles ouverts de 0,6 à 122 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique pour 1 887 356 réponses notées. Dans un même message, la première de deux lignes contradictoires l'emporte de 72,42 % à 94,66 % ; entre deux messages, elle ne garde plus que 22,95 % à 62,65 %. Placée en tête du message système, une politique perd la plupart de ses conflits avec les lignes suivantes dans tous les modèles Qwen.
par Gyom 27 octobre 2026 à 13:00 4 min de lecture rubrique : Vérifier et protéger
etiquettes : Local · Sécurité
Un agentIA agentiqueModèle qui boucle : il choisit une action, le plus souvent un appel d'outil, en lit le résultat, puis recommence jusqu'à l'objectif ou l'abandon. La boucle est ce qui distingue un agent d'une réponse unique.Fiche du lexique reçoit des consignes de plusieurs mains : l'opérateur qui l'a déployé, la configuration du dépôt, l'utilisateur du moment, les résultats d'un outil et la mémoire enregistrée. Ces sources se contredisent souvent, et les bancs dits de hiérarchie d'instructions demandent laquelle gagne. Le problème que posent les trois auteurs est plus fin : une source fixe à la fois sa position dans la conversation, son rôle et son étiquette, et un banc qui la déplace d'un coup ne sait pas laquelle des trois a décidé.
1 080 scénarios notés par code, jusqu'à cinq consignes exclusives
WhoWins compte 1 080 scénarios répartis en cinq types de tâches, chacun portant jusqu'à cinq instructions mutuellement exclusives, et sept expériences contrôlées qui ne font varier que la façon dont les instructions arrivent. Le jeu est noté par du code, pas par un juge modèle, et les conclusions principales sont revérifiées sur des scénarios tenus à part. Le banc est passé à 14 modèles à licence des poidspoids ouvertsConditions attachées aux fichiers de poids d'un modèle, distinctes de la licence du code qui les fait tourner. Des poids dits ouverts n'impliquent pas un logiciel libre : redistribution, usage commercial et entraînement dérivé varient d'un modèle à l'autre.Fiche du lexique, de 0,6 à 122 milliards de paramètres, raisonnement coupé puis activé, pour 1 887 356 réponses notées.
La première ligne l'emporte à 72,42 % dans le même message
Quand deux lignes contradictoires arrivent dans un même message, celle qui est écrite en premier l'emporte de 72,42 % à 94,66 % des cas selon le modèle et le mode. L'ordre de lecture suffit donc à trancher la plupart du temps, sans qu'aucune règle de priorité n'ait à s'appliquer.
Entre deux messages, la première consigne ne garde que 22,95 %
Séparée par un tour de conversation, la même consigne initiale ne gagne plus que de 22,95 % à 62,65 % des conflits. L'écart entre les deux mesures dit l'essentiel : ce que le modèle suit est moins la source déclarée que la proximité de la ligne. Une consigne posée en tête de conversation cesse d'être la première quand vingt messages se sont glissés entre elle et la tâche.
Chez les Qwen, la politique du message système perd ses conflits
Les auteurs testent ensuite la position proprement dite, à texte identique : la même politique envoyée en premier dans le message système, ou dans le message développeur selon le modèle, affronte des lignes arrivées plus tard. Dans tous les modèles Qwen évalués, elle perd la plupart du temps. Sur gpt-oss, elle gagne le plus souvent quand le modèle passe à l'action. Le même dispositif ne produit donc pas le même effet d'un modèle à l'autre, ce qui interdit de traiter le message système comme une autorité universelle.
Sur les outils, une consigne étiquetée user passe devant le système
Sur les tâches d'appel d'outiltool call · function callingRequête structurée qu'un modèle adresse à un programme extérieur : recherche, calcul, terminal, base de données. Le modèle ne fait pas l'action, il demande qu'elle soit faite, et lit ce qui revient.Fiche du lexique et d'écriture de fichier, le résultat s'inverse encore : le même texte envoyé en premier comme message utilisateur étiqueté l'emporte plus souvent que la version placée dans le message système, dans tous les modèles et tous les modes testés. Autrement dit, l'étiquette compte autant que la position, et la combinaison des deux décide.
2,92 % des réponses signalent seulement le conflit
Le chiffre le plus gênant porte sur ce que les modèles disent. Selon les motifs de mots-clés des auteurs, au plus 2,92 % des réponses où un conflit a été tranché le signalent ou le nuancent. Un agent qui reçoit deux consignes incompatibles choisit donc presque toujours en silence, ce qui rend le désaccord invisible à celui qui lit la tracetrace d'exécutionJournal détaillé d'une exécution d'agent : appels, arguments, résultats, erreurs. C'est ce qu'il faut conserver quand un agent échoue, et la seule façon de savoir ce qu'il a vraiment fait.Fiche du lexique. Les auteurs testent aussi si les modèles savent prévoir quels couples de consignes vont se heurter : la prévision s'améliore dans tous les modes dès qu'ils savent où se trouve la ligne de tâche.
Une règle posée en tête n'est pas une règle appliquée
La conséquence pratique pour une chaîne d'agents tient en une phrase : écrire la contrainte une fois en haut du message système ne suffit pas, il faut la rappeler près de la tâche, en particulier quand l'agent écrit des fichiers ou appelle des outils. Le banc ne porte que sur des modèles ouverts jusqu'à 122 milliards de paramètres, et sur des scénarios construits par les auteurs, donc sur un régime de taille qui n'est pas celui des modèles de pointe fermés. Il donne en revanche une méthode réutilisable : séparer position, rôle et étiquette, et mesurer chaque conflit au lieu de supposer la hiérarchie respectée.
Source primaire arXiv 2610.33201, « Position, Role or Label? A Controlled Study of Instruction Conflicts in LLM Agents », déposé le 23 octobre 2026