BenchMIRT décompose les scores des LLMs en sécurité et raisonnement

Principe de BenchMIRT

BenchMIRT propose une analyse au niveau de chaque invite d’un benchmark, afin d’isoler les capacités sous‑jacentes qui influencent la réussite d’un modèle. Le système s’appuie sur la théorie de la réponse à l’item (IRT), qui quantifie la difficulté d’une question et sa capacité à différencier des modèles plus ou moins performants. En étendant IRT à plusieurs dimensions (MIRT), BenchMIRT peut simultanément extraire plusieurs axes de compétence, comme la sécurité ou le raisonnement général.

Méthodologie multidimensionnelle

Les auteurs ont entraîné BenchMIRT à partir des résultats de 100 grands modèles de langage évalués sur 16 benchmarks contenant plus de 34 000 questions. Aucun label explicite n’a été fourni ; le modèle a donc découvert de façon autonome les dimensions dominantes. L’analyse a convergé systématiquement vers deux axes : safety (sécurité) et general reasoning (raisonnement général). Pour chaque modèle, BenchMIRT estime un score de capacité sur chaque axe, et pour chaque question, il calcule une difficulté et un coefficient de discrimination vis‑à‑vis des deux axes.

Résultats empiriques

Les corrélations entre les scores de BenchMIRT et les scores bruts des benchmarks confirment les attentes : les évaluations de raisonnement (MMLU‑Pro, GPQA, MATH, BBH) s’alignent fortement avec le facteur reasoning, tandis que les suites de sécurité (HarmBench, StrongReject, WildJailbreak) se rapprochent du facteur safety. Certaines exceptions apparaissent : le benchmark BBQ, censé mesurer les biais sociaux, montre une corrélation plus forte avec le raisonnement, suggérant que les faibles performances peuvent refléter une difficulté de compréhension plutôt qu’un problème de sécurité. De même, WMDP, qui teste la connaissance à double usage, se comporte comme un test de raisonnement, mais les modèles plus capables en raisonnement obtiennent des scores plus bas parce que le benchmark récompense le refus de fournir l’information dangereuse.

BenchMIRT a également évalué la capacité prédictive du modèle : en laissant de côté des questions, il a prédit correctement la réponse d’un modèle dans 79 % des cas, contre 70 % pour une approche naïve qui utilise uniquement le score moyen du benchmark. Enfin, en ne conservant que 10 % des questions les plus discriminantes, la représentation des capacités sous‑jacentes reste quasi inchangée, et avec 50 % des questions, la correspondance s’améliore encore.

Implications et limites

L’étude montre que les scores agrégés masquent souvent plusieurs signaux. En découpant les contributions de chaque question, BenchMIRT rend les évaluations plus interprétables et permet de sélectionner des sous‑ensembles d’invites plus informatifs. Cependant, la méthode dépend de la disponibilité d’un large panel de modèles et de réponses annotées ; dans des contextes où les données sont rares, la stabilité des dimensions extraites peut être moindre. De plus, la dichotomie safety/raisonnement ne couvre pas toutes les facettes pertinentes (par ex. créativité, efficacité computationnelle). Malgré ces réserves, BenchMIRT constitue un outil robuste pour auditer les benchmarks LLM et guider la conception de nouvelles suites d’évaluation.