Contexte et objectifs de l’étude

L’article How Good Are Frontier Models at Physics? revisite les performances des modèles de langage de pointe sur six référentiels de physique largement utilisés. Les auteurs soulignent que les scores publiés – notamment ceux présentés dans l’Artificial Intelligence Index 2026 – indiquent encore de grandes difficultés des modèles face à des problèmes quantitatifs avancés. Pour vérifier cette impression, ils confrontent les réponses de modèles à des questions à réponse unique, puis font auditer chaque cas par des chercheurs universitaires spécialisés dans le sous‑domaine concerné.

Méthodologie d’audit expert

Chaque problème, solution de référence et réponse de modèle est passé en revue afin d’identifier quatre sources d’erreur potentielles : (i) une mauvaise notation du modèle, (ii) une solution de référence erronée, (iii) une question ambiguë ou mal spécifiée, et (iv) un problème intrinsèquement mal posé. Les experts corrigent les références fautives, excluent les items ambiguës et re‑évaluent les réponses du modèle. Cette procédure permet de distinguer les véritables lacunes de raisonnement physique des artefacts de benchmark.

Résultats chiffrés après correction

Sur le benchmark HLE‑Physics, le score moyen@4 de GPT‑5.6‑Sol passe de 47,3 % à 78,7 %. Sur le CMT‑Benchmark, la même métrique grimpe de 61,0 % à 87,2 %. Le jeu de 54 défis CritPt conservés après audit montre un pass@4 corrigé de 94,4 %, ce qui indique une quasi‑saturation sur ces tâches fermées. Les scores des ensembles UGPhysics, PRISM‑Physics et PHYBench augmentent également de façon substantielle, bien que les valeurs exactes ne soient pas détaillées dans le résumé. L’ensemble des résultats suggère que les évaluations initiales sous‑évaluent fortement les capacités réelles des modèles lorsqu’on élimine les biais de notation.

Analyse des implications et limites

Ces constats remettent en cause la fiabilité des benchmarks actuels pour mesurer la compréhension physique des LLM. La présence d’erreurs de référence et de questions mal définies crée un plafond artificiel qui empêche de discerner les progrès technologiques. Cependant, la démarche d’audit repose sur un échantillon limité à des problèmes à réponse unique ; les modèles pourraient encore échouer sur des tâches nécessitant une chaîne de raisonnement plus longue ou une intégration multimodale. De plus, la quasi‑saturation observée sur des tâches fermées indique que les benchmarks ne sont plus discriminants et qu’il faut concevoir des évaluations plus ouvertes, incluant par exemple la génération de démonstrations ou la résolution de problèmes sous contraintes expérimentales.