Hugging Face affirme que les évaluateurs IA intégrés sont complexes

Contexte du benchmarking IA

Les laboratoires d’intelligence artificielle fondent leur crédibilité sur le benchmarking de modèles, un processus censé fournir une mesure neutre de la performance entre produits. Irene Solaiman, responsable politique de Hugging Face, rappelle que les méthodes actuelles restent « en évolution » et que la communauté ne possède pas encore de cadre partagé pour comparer les résultats de différents tests. Cette situation fragilise la confiance que les acteurs industriels placent dans les scores publiés.

Problèmes de reproductibilité et d’accès aux poids

Solaiman souligne que la reproductibilité constitue le premier critère de fiabilité : « pouvez‑vous reproduire les résultats d’une évaluation ? » Elle insiste sur la nécessité d’un accès complet aux poids ouverts du modèle, condition indispensable pour reproduire les expériences dans un environnement contrôlé. Sans ce niveau d’accès, les évaluations restent partiellement opaques, ce qui empêche les tiers de vérifier les affirmations de performance.

Limites des évaluateurs intégrés

Le concept d’« évaluateur intégré », où un observateur tiers neutre serait placé au sein d’une organisation IA, a gagné en visibilité après plusieurs incidents de sécurité. Cependant, Solaiman note que la neutralité de ces entités n’est pas garantie : le recours d’Anthropic à Accenture a suscité des critiques quant à la compétence du cabinet à juger des risques spécifiques aux modèles. L’absence de standards clairement définis pour qualifier un « évaluateur efficace » empêche la construction d’un écosystème fiable.

Évolution vers l’évaluation des systèmes complets

Les évaluations s’étendent désormais du modèle pur à l’ensemble du système, incluant le harness (l’outil d’accès) et les agents qui orchestrent les appels. Solaiman explique qu’un harness performant peut compenser les faiblesses d’un modèle, rendant les comparaisons purement basées sur le modèle trompeuses. Les « agentic evals » sont décrits comme « très coûteux et très complexes », et le nombre d’évaluations dédiées aux harnesses reste limité. Le développement d’indicateurs holistiques pour les agents devient donc une priorité afin de refléter la valeur réelle perçue par les utilisateurs.