Contexte et objectifs
Anthropic a publié le 28 août 2026 un article intitulé Automated Researchers Can Reliably Mitigate Alignment Failures. Le texte décrit une tentative de former des modèles d’IA à l’aide d’autres IA, un objectif partagé par de nombreux laboratoires de recherche récents. L’objectif déclaré est de réduire les écarts d’alignement en automatisant la recherche de méthodes d’entraînement, afin de rendre le processus plus rapide et moins dépendant d’interventions humaines.
Mécanisme de l'Automated Alignment Researcher
Le système, nommé Automated Alignment Researcher (AAR), suit un cycle en trois étapes : recherche dans la littérature disponible, proposition d’une méthode d’entraînement, puis exécution de cette méthode pendant 30 minutes. Cette boucle se répète sur plusieurs itérations, chaque fois que le benchmark d’alignement est progressivement relevé. Les méthodes qui améliorent les scores sont conservées, tandis que les échecs sont éliminés, ce qui crée un processus de sélection similaire à l’évolution naturelle.
Le protocole a été testé sur un jeu de 10 benchmarks ciblant des comportements spécifiquement mal alignés. Sur chaque benchmark, l’AAR a enregistré une amélioration, sans aucune dégradation mesurée du rendement global du modèle. Cette constance sur l’ensemble du panel constitue le premier indicateur quantitatif de la fiabilité du système.
Performances et comparaison avec les humains
Selon le papier, l’AAR dépasse les propositions d’experts humains en moyenne après six heures de recherche automatisée. Le texte précise que les directions de recherche guidées par des humains n’ont pas conduit à des performances supérieures, ce qui suggère que le processus itératif de l’AAR exploite plus efficacement le volume de données disponibles.
Le coût économique a également été évalué : l’AAR consomme environ 4 $ par heure d’inférence d’API, contre 150 $ par heure pour les chercheurs humains employés par Anthropic. Cette différence de facteur 37,5 représente un argument financier en faveur de l’automatisation, surtout à grande échelle.
Limites et perspectives
Le document souligne que la validité du système dépend entièrement de la pertinence des benchmarks. Si les critères d’alignement ne reflètent pas les objectifs réels, les améliorations obtenues restent théoriques. De plus, la maintenance de la base de littérature consultée par l’AAR requiert un effort continu, sans quoi la qualité des propositions pourrait stagner.
Enfin, même si les premiers résultats sont prometteurs, le passage à une amélioration récursive de l’ensemble du processus d’entraînement reste hypothétique. La recherche future devra donc se concentrer sur la définition de benchmarks robustes et sur l’extension de la capacité de l’AAR à générer des stratégies d’entraînement inédites, au-delà de la simple optimisation de critères déjà connus.
