Présentation du benchmark SimpleBench

SimpleBench est un test à choix multiples dédié aux grands modèles de langage (LLM). Il comporte plus de 200 questions réparties en trois axes : raisonnement spatio‑temporel, intelligence sociale et robustesse linguistique face à des questions piégées (« linguistic adversarial robustness »). L’objectif est de mesurer la capacité d’un modèle à raisonner au‑delà de la simple récupération de connaissances mémorisées.

Résultats des modèles évalués

Le groupe de référence humain, constitué de neuf participants non spécialisés, a atteint un score moyen de 83,7 %. Tous les LLM testés sont restés en dessous de ce seuil, le meilleur étant Claude Fable avec 81,9 %. Les modèles Astra 6.2 et Sol 6.2, mentionnés dans le titre, se sont classés parmi les modèles les plus faibles, leurs scores se situant en dessous de 81,9 % et donc inférieurs à la performance humaine.

Analyse des limites observées

Les résultats révèlent que les LLM actuels reposent majoritairement sur la mémorisation de faits et sur un raisonnement approximatif. Les questions de SimpleBench exigent une chaîne de pensée explicite : par exemple, le raisonnement spatio‑temporel demande de combiner plusieurs relations géographiques et temporelles, alors que les questions sociales sollicitent la compréhension de normes implicites. Les questions adversariales introduisent des formulations trompeuses qui perturbent les modèles basés sur des patterns statistiques, expliquant en partie les scores inférieurs.

De plus, l’absence de connexion à un environnement physique ou à une base de connaissances dynamique empêche les modèles de valider leurs hypothèses. Cette limitation se traduit par des erreurs systématiques sur les items où la réponse nécessite une vérification logique ou contextuelle, comme c’est le cas pour les scénarios sociaux.

Implications pour le développement futur

Les écarts constatés incitent à renforcer les capacités de raisonnement explicite dans les LLM. Des approches telles que le chain‑of‑thought prompting, l’intégration de modules de raisonnement symbolique ou l’accès à des bases de connaissances actualisées pourraient réduire l’écart avec les performances humaines. Par ailleurs, la conception de benchmarks comme SimpleBench, qui combinent diversité thématique et adversarialité, constitue un repère fiable pour mesurer les progrès au-delà du simple rappel de faits.