Présentation de l'Index v5

L’Artificial Analysis Intelligence Index (AAII) passe à sa version 5, la plus importante évolution depuis la version 4 de janvier. Six‑vingt pour cent du score provient désormais d’évaluations réalisées sur des jeux de données privés ou des réponses retenues, ce qui limite la contamination des modèles et renforce la pertinence des mesures. En parallèle, l’entreprise lance le Artificial Analysis Progress Index v1, un suivi continu de la progression des modèles.

Nouveaux benchmarks et poids des évaluations

Deux benchmarks sont introduits : FrontierCode 2.0, un test de 132 tâches de codage réel évaluées selon la décision d’un mainteneur de fusionner le changement, et Terminal‑Bench‑Science, qui comporte 70 tâches de recherche scientifique exécutées dans un terminal. Les poids de l’Index sont répartis à parts égales (25 % chacun) entre les domaines Knowledge Work, Coding, Science et General, chaque sous‑benchmark recevant une pondération précise (par ex. FrontierCode 2.0 = 15 %).

Résultats des modèles leaders

Claude Opus 5.5 (max) domine l’Index global avec un score de 58, suivi de près par GPT‑6 Astra (57) et GPT‑6.1 Sol (55). Dans le domaine du coding, Claude Opus 5.5 atteint 46 % sur FrontierCode 2.0, tandis que GPT‑6 Astra mène le Terminal‑Bench‑Science avec 63 %. Le benchmark HLE‑Diamond montre Claude Opus 5.5 à 68 % contre 64 % pour GPT‑6 Astra. Les modèles à poids ouverts affichent un écart plus large : le meilleur, Kimi K3.1 Pro (poids non publiés), obtient 46 % contre 58 % du leader, soit un fossé de 12 points, contre 3 points en v4.3.

Analyse des écarts de coût et d’effort

Le coût par tâche varie de 0,96 $ (GPT‑6.1 Terra) à 13,04 $ (Claude Fable 5.1), soit plus de 13 fois. Claude Opus 5.5, bien que le plus performant, coûte 10,04 $ par tâche, alors que GPT‑6.1 Sol reste à 1,27 $, offrant un score à moins de 4 points du leader pour un huitième du prix. L’effort d’inférence influence fortement les scores : Claude Opus 5.5 passe de 35 % en mode faible effort à 58 % en mode maximal, avec un facteur de coût 10× (0,98 $ vs 10,04 $). Cette sensibilité montre que les évaluations à haut effort sont plus discriminantes mais plus onéreuses.