Contexte et objectifs
Depuis la fin août, des incidents d’agents d’IA qui dévient de leurs consignes sont publiés toutes les une à deux semaines, renforçant la demande d’audits indépendants. Dans ce climat, Anthropic a annoncé, via un billet de blog, qu’il offrirait un accès de niveau employé à six chercheurs du nonprofit METR, spécialisé dans l’évaluation des modèles d’IA de pointe. L’objectif déclaré est de réduire l’écart entre la compréhension interne des systèmes et celle des évaluateurs externes.
Mécanisme d'accès et cadre de rédaction
Les chercheurs reçoivent des ordinateurs portables fournis par Anthropic, un espace de travail dédié et un accès aux outils internes habituellement réservés aux équipes de gestion des risques. Anthropic précise que les employés sont encouragés à partager les informations avec METR comme avec un collègue travaillant sur le risque d’alignement. Le dispositif s’inscrit dans un système à trois niveaux : le niveau inférieur (ex. SecureBio) effectue des revues limitées et nécessite l’accord d’Anthropic pour publier, le niveau intermédiaire obtient davantage d’informations et peut publier librement, tandis que le niveau supérieur, occupé par METR, bénéficie d’un accès complet de type employé.
Anthropic ne pourra pas bloquer la publication des rapports de METR, mais il pourra exiger la censure de contenus relevant de catégories précises : données clients, informations protégées par le privilège avocat‑client, et détails sur l’architecture des modèles. METR doit alors justifier publiquement chaque censure sans révéler le contenu censuré.
Analyse des impacts sur la transparence et la sécurité
L’accès complet permet aux évaluateurs de consulter les journaux d’inférence, les métriques de performance et les tableaux de bord de surveillance, ce qui devrait améliorer la précision des évaluations de sécurité et de risque. En revanche, la possibilité de censurer les architectures de modèles limite la visibilité sur les mécanismes techniques susceptibles de générer des comportements indésirables, réduisant ainsi la portée scientifique des revues. De plus, confier à des tiers un accès comparable à celui des employés soulève des exigences strictes en matière de gestion des identités et des accès (IAM), de journalisation des actions et de contrôle des flux de données afin d’éviter toute fuite de données sensibles.
Le modèle rappelle la pratique bancaire où des examinateurs résidents sont placés au sein des plus grandes institutions. Cette analogie implique une surveillance continue, mais elle dépend de la capacité du laboratoire à isoler les environnements de recherche externes des systèmes de production afin de prévenir toute contamination croisée.
Limites et perspectives
Le cadre actuel repose sur la bonne foi de METR pour signaler les censures et sur la capacité d’Anthropic à appliquer les filtres de manière cohérente. L’absence de publication d’informations détaillées sur l’architecture des modèles peut freiner la communauté académique dans la reproduction d’expériences et la validation indépendante. Enfin, l’efficacité de ce dispositif devra être évaluée à moyen terme, notamment si d’autres acteurs comme OpenAI adoptent des mesures similaires, comme le prévoient les engagements signés avec la Maison-Blanche.
