Présentation de l'Intelligence Index v5.0

L’Artificial Analysis Intelligence Index (AAII) version 5.0 constitue une suite d’évaluations destinée à mesurer les capacités des modèles de langage sur quatre axes : Knowledge Work, Coding, Science et General. Chaque axe reçoit une pondération identique de 25 %, ce qui assure que le score final reflète un équilibre entre les différents types de tâches. L’indice se veut une synthèse quantitative, utilisable pour comparer les modèles entre eux, tout en reconnaissant que la métrique ne couvre pas l’ensemble des cas d’usage.

Composition et pondération des évaluations

Le nouveau indice intègre neuf évaluations : AA‑Briefcase v1.1, AutomationBench‑AA, GDP.pdf, FrontierCode 2.0, Terminal‑Bench 4.0, AA‑Omniscience v1.1, HLE‑Diamond, CritPt v2 (Hard Subset) et Terminal‑Bench‑Science 0.1.0. Chaque évaluation est assignée à l’une des quatre catégories, avec un poids de 15 % au sein du calcul global. Par exemple, AA‑Briefcase, dédié aux projets de travail de connaissance multi‑semaine, contribue à la catégorie Knowledge Work. Le classement Elo des soumissions AA‑Briefcase repose sur le modèle Crowd‑BT, une évolution introduite dans la version 1.1 du benchmark.

Méthodologie d’exécution et paramètres techniques

Les tests sont réalisés en zéro‑shot instruction‑prompted, c’est‑à‑dire sans exemples fournis, afin d’évaluer la capacité du modèle à suivre des consignes explicites. Les paramètres de génération sont fixés à une température de 0 pour les modèles non‑raisonnement et à 0,6 pour les modèles de raisonnement, sauf indication contraire du laboratoire du modèle. La limite de jetons de sortie est de 16 384 pour les modèles non‑raisonnement, ajustée à la taille du contexte disponible. Les modèles de raisonnement utilisent la capacité maximale déclarée par leurs fournisseurs.

Le score est calculé selon une métrique pass@1 : le modèle doit fournir la bonne réponse dès la première tentative. La formule appliquée est :

pass@1 = (1 / k) * Σ_{i=1}^{k} p_i

où p_i vaut 1 si la i‑ème réponse est correcte, sinon 0, et k représente le nombre total d’instances testées. En cas d’échec répété (30 tentatives), les questions sont revues manuellement et les résultats affectés par des blocages d’API sont exclus du score publié.

Analyse des limites et perspectives d’évolution

Le AAII reste limité aux évaluations en anglais et à des tâches textuelles. Les performances multilingues, visuelles et vocales sont mesurées séparément via l’Artificial Analysis Multilingual Index, qui s’appuie sur le jeu Global‑MMLU‑Lite couvrant quinze langues, dont le français, le chinois et l’arabe. Cette séparation évite de diluer le score principal, mais empêche une comparaison directe entre les capacités linguistiques et les compétences générales.

Le recours à des token counts fournis par les API des modèles assure une estimation précise du coût d’exécution, mais introduit une dépendance aux métriques propriétaires. Lorsque ces données sont indisponibles, le benchmark utilise un tokenizer canonique, ce qui crée une légère incohérence entre les mesures de coût et les mesures de performance. Enfin, la méthodologie repose sur une exécution indépendante de chaque tâche, même dans les scénarios multi‑semaine d’AA‑Briefcase, ce qui ne capture pas les effets d’apprentissage incrémental ou de mémoire à long terme que l’on observe dans les agents autonomes.