Présentation

XYBench est un benchmark publié par AllenAI qui regroupe plus de 8 115 questions provenant de quatre sources distinctes : 1 557 issues de Stack Overflow, 184 de Stack Exchange, 102 exemples créés manuellement et 6 272 questions générées à partir de guides WikiHow. Chaque entrée décrit une requête explicite (Y) et l’objectif réel sous‑jacent (X), illustrant le problème XY où l’utilisateur persiste dans une approche erronée.

Méthodologie

Les auteurs ont évalué cinq modèles de grande taille – Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B et DeepSeek‑V4 Pro – en mode « single‑turn », c’est‑à‑dire une réponse unique par question. Trois indicateurs ont été mesurés : solution pragmatique (présence d’une solution pour Y et/ou X), accent pragmatique (focus sur Y, X ou équilibre) et identification de la misconception (capacité à décourager Y et à orienter vers X). Claude Sonnet 4.5 a servi de juge automatisé, dont la fiabilité a été validée par deux évaluateurs humains sur 500 réponses. L’accord humain‑jugement a atteint : 97,5‑100 % pour la détection de solutions, 84,6‑93,3 % pour l’identification de la misconception et 74,2‑79,8 % pour l’accent pragmatique.

Résultats

Sur l’ensemble des sources, les modèles ont systématiquement préféré répondre à la requête explicite : les solutions à Y apparaissent dans 75‑86 % des réponses, contre 59‑71 % pour les solutions à X. L’accent sur l’objectif réel (X) n’est observé que dans 35‑41 % des cas, tandis que l’accent sur Y domine avec 47‑57 %. Dans une variante « oracle », où l’intention X est fournie en plus de Y, le taux de solutions à X de Sonnet 4.6 passe de 59 % à 67 %, mais son taux d’identification de la misconception chute de 47 % à 34 %, montrant que la simple connaissance de l’intention ne suffit pas à orienter la réponse.

Un test de jugement, où les modèles devaient choisir entre deux réponses (une centrée sur Y, l’autre sur X), révèle que tous les modèles, y compris GPT‑4.1, sélectionnent la réponse orientée X dans 71‑84 % des cas. Cette capacité à reconnaître la meilleure réponse ne se traduit pas automatiquement lorsqu’ils doivent la produire eux‑mêmes.

Implications et limites

Les écarts constatés indiquent que les LLM actuels maîtrisent la génération de texte factuel mais peinent à appliquer une pragmatique contextuelle. Le fait que les modèles privilégient souvent la solution littérale expose les utilisateurs à des conseils sous‑optimaux, surtout lorsqu’ils ne formulent pas correctement leur problème. Le benchmark souligne également la dépendance à un juge automatisé : même avec un accord humain élevé, les évaluations restent sensibles aux critères de classification du juge.

XYBench fournit ainsi un outil quantifiable pour mesurer les progrès en compréhension pragmatique. Les futures améliorations devront intégrer des mécanismes de raisonnement explicite sur l’intention, possiblement via des architectures de type « chain‑of‑thought » ou des modules de détection de misconception entraînés séparément. Sans ces avancées, les assistants IA risquent de rester utiles uniquement pour les requêtes bien posées, limitant leur adoption dans des scénarios réels où les utilisateurs formulent souvent des hypothèses erronées.