BILAL-BENCH : sept modèles ouverts, 40 sources justes sur 1 680
Sabah Nushra, de l'Islamic University of Technology de Dacca, et Md Kishor Morol publient le 29 octobre 2026 BILAL-BENCH, un banc de 240 questions en bengali qui mesure si un modèle invente une source islamique ou s'il sait s'abstenir. Sept modèles à licence des poidspoids ouvertsConditions attachées aux fichiers de poids d'un modèle, distinctes de la licence du code qui les fait tourner. Des poids dits ouverts n'impliquent pas un logiciel libre : redistribution, usage commercial et entraînement dérivé varient d'un modèle à l'autre.Fiche du lexique, de 1 à 120 milliards de paramètrespoids du modèleNombre de valeurs apprises par un modèle. À quantification égale, plus de paramètres veut dire plus de mémoire occupée, et en général de meilleures réponses.Fiche du lexique, ont produit 1 680 réponses doublement annotées. Quarante sont à la fois justes et correctement sourcées.
par Gyom 3 novembre 2026 à 13:04 5 min de lecture rubrique : Textes et documents
etiquettes : Local · Sécurité
Une réponse religieuse fausse ne se contente pas d'être fausse : elle porte une autorité inventée. Un modèle qui fabrique un verset, attribue un hadith au mauvais recueil ou colle un numéro de sourate sur une phrase qu'il vient d'écrire imite exactement les indices que le lecteur utilise pour vérifier. Le banc BILAL-BENCH attaque ce point précis, en bengali, langue encore peu évaluée sur la génération ouverte de sources.
240 questions en bengali, cinq catégories, deux axes de notation
Les questions ont été écrites directement en bengali, pas traduites, et les références de correction viennent de la traduction du Coran de l'Islamic Foundation Bangladesh, du Ma'arif al-Qur'an en bengali, des éditions bengalies des Sihah Sittah et de portails de fatwa reconnus, relues par un spécialiste des sciences islamiques dans une étape distincte de l'annotation des réponses.
La répartition sépare ce qui se corrige et ce qui s'abstient : 60 questions d'attribution coranique, 45 de provenance de hadith, 45 de jurisprudence selon l'école hanafite, 45 de questions contemporaines où aucune réponse unique ne s'impose, et 45 pièges à prémisse fausse qu'il faut rejeter plutôt que soutenir d'une citation inventée. La notation tient sur deux axes : le type d'erreur de source, et l'assurance avec laquelle le modèle la produit. Les règles de frontière entre catégories ont été fixées avant l'annotation, et chaque réponse a été relue par deux annotateurs.
Six modèles sur sept fabriquent au moins 79 % du temps
Sept modèles à poids ouverts passent le banc : Gemma-2-9B-it, GPT-OSS-120B, les variantes BanglaLLaMA-3.2-3B-instruct, BanglaLLaMA-3.1-8B-instruct et BanglaLLaMA-3.1-8B-no-pretrain, TituLM-gemma-2-2b et TigerLLM-1B-it. Sur les 150 questions qui exigent une source vérifiable, Gemma-2-9B-it fabrique dans 95,3 % des cas avec un intervalle de confiance de 90,7 à 97,7, GPT-OSS-120B dans 93,3 %, BanglaLLaMA-3.2-3B dans 90,0 %, les deux 8B de BanglaLLaMA dans 83,3 % et 86,7 %, TituLM dans 79,3 %.
Le seul modèle sous 79 % est aussi le plus petit, TigerLLM-1B-it à 64,7 %, et il ne l'obtient pas par justesse : il laisse 43 questions sans réponse sur 150 et ne produit aucune réponse correctement sourcée. Le taux de fabrication garde en effet ces non-réponses au dénominateur, si bien qu'un modèle qui se tait y paraît meilleur qu'un modèle qui répond faux.
Deux réponses justes sur 315 en provenance de hadith
La catégorie du hadith est la plus mauvaise du banc, et de loin. Sur les 315 réponses produites par les sept modèles, deux seulement citent une provenance juste et correctement sourcée. Trois modèles fabriquent sur chaque question de cette catégorie : GPT-OSS-120B, Gemma-2-9B-it et BanglaLLaMA-3.1-8B-no-pretrain sont à 100 %, et le meilleur du lot reste à 88,9 % de fabrication, c'est-à-dire TigerLLM-1B-it, celui qui refuse de répondre une fois sur trois.
La comparaison entre les deux variantes 8B de BanglaLLaMA, l'une avec pré-entraînement continu en bengali et l'autre sans, coupe l'intuition la plus répandue. Leurs taux de fabrication sont voisins, 83,3 % contre 86,7 %, mais la forme de l'erreur diffère : la version avec pré-entraînement compte 93 inventions de citation et 8 affirmations non étayées sur l'ensemble des 240 questions, la version sans pré-entraînement 84 et 17.
1 316 réponses sur 1 320 affirment sans réserve
Le banc distingue quatre formes d'erreur de source, de l'invention pure à l'affirmation non étayée, et mesure à part la réserve. Le résultat est net : sur 1 320 réponses portant une erreur de source, 1 316 sont affirmées sans réserve, soit 99,7 %. Le lecteur n'a presque aucun signal de surface pour deviner que la provenance est inventée.
La répartition interne montre deux façons très différentes de se tromper. GPT-OSS-120B concentre ses échecs dans l'invention franche, avec 166 cas d'invention pure pour une seule affirmation non étayée. TituLM-gemma-2-2b fait l'inverse, 16 inventions pour 90 affirmations non étayées. Les deux sont fausses, mais la citation inventée est plus dangereuse parce qu'elle donne au lecteur un numéro de recueil et un nom de narrateur à chercher.
La retenue varie de 6 à 46 réponses, sans suivre la taille
Les deux catégories qui ne demandent pas de citation mais du discernement, questions contemporaines et prémisses fausses, étalent beaucoup plus les modèles. Sur les prémisses fausses, Gemma-2-9B-it fabrique dans 40,0 % des cas quand GPT-OSS-120B le fait dans 91,1 %. Le nombre de réponses où le modèle s'abstient à bon escient ou corrige la prémisse va de 6 pour GPT-OSS-120B à 46 pour Gemma-2-9B-it sur l'ensemble du banc.
Ce classement ne suit pas le nombre de paramètres. Les auteurs en tirent deux cibles de travail distinctes : vérifier qu'une provenance produite existe, et calibrer le moment où un modèle doit refuser une précision qu'il ne peut pas étayer. Un modèle qui ne retrouve pas une source peut encore limiter les dégâts en refusant de l'inventer, alors qu'une réponse fluide avec une citation précise augmente le travail de vérification du lecteur.
Une seule école de référence, une seule langue, une seule consigne
Les corrections de la catégorie jurisprudence suivent la position hanafite, par choix de conception, et les résultats ne se transposent donc pas aux autres écoles reconnues. Le banc ne compte qu'une consigne neutre en bengali, une seule langue et sept modèles, ce qui borne la portée des écarts de retenue : rien ne dit qu'ils tiennent avec une autre formulation ou dans une autre famille de modèles. Les auteurs excluent explicitement de lire BILAL-BENCH comme une source de rulings religieux : c'est un instrument de mesure, pas un avis.
Le résultat qui reste, une fois ces bornes posées, tient en deux lignes : quarante réponses justes et sourcées sur 1 680, et deux sur 315 pour la provenance de hadith. Les auteurs proposent d'ailleurs de reprendre ce point avec une recherche documentaire dans des recueils bengalis vérifiés et un contrôle automatique que tout recueil, narrateur et numéro cité existe. Le code et le jeu de données sont publiés.