Contexte et accélération
Le rapport de METR, fruit d’une enquête de 11 semaines au sein d’Anthropic, indique que les modèles d’IA de l’entreprise progressent à un rythme environ deux fois supérieur à celui observé l’an passé. Les scores de référence suggèrent que l’équivalent de deux années de progrès historique a été réalisé en un an. Les chercheurs de METR précisent que cette accélération ne provient pas uniquement d’une hausse de la puissance de calcul, facteur traditionnellement dominant, mais d’une contribution croissante de l’IA elle‑même dans le processus de recherche.
Mécanismes d'automatisation et productivité
Selon des sondages informels menés sur Slack et des entretiens avec les employés, l’utilisation du modèle interne le plus performant permet aux chercheurs de déclarer une productivité moyenne multipliée par 12 par rapport à un travail sans assistance IA. Cette valeur représente le double de l’auto‑évaluation réalisée quelques mois auparavant, alors que les équipes exploitaient le modèle Mythos 5. METR souligne que, pour l’instant, l’accélération résulte principalement d’une assistance humaine renforcée par l’IA, mais détecte déjà des signaux indiquant que des contributions entièrement autonomes pourraient prendre une place plus importante.
Modèles internes et opacité
Anthropic a finalisé, au cours des six derniers mois, la formation de trois modèles internes – désignés comme Model 2, Model 3 et Model 4 – dont les cycles d’entraînement se sont achevés respectivement en juillet, entre août‑septembre et entre septembre‑octobre. Un modèle supplémentaire, daté de 2022 et nommé « Unreleased 2022 », a également été identifié. Aucun de ces modèles n’est encore rendu public, ce qui rend difficile l’évaluation indépendante de leurs performances. Le rapport indique que la société a exercé son droit de censure sur la majorité des preuves fournies, en masquant une partie substantielle d’un document de près de 100 pages. Les restrictions d’accès ont limité la capacité de METR à vérifier certaines affirmations, notamment celles relatives aux gains de productivité et aux dynamiques d’accélération.
Implications et limites
La combinaison d’une amélioration rapide des modèles et d’une transparence restreinte crée un environnement où les risques associés à l’auto‑amélioration de l’IA sont difficiles à quantifier. L’absence de signes de rendements décroissants ou de goulets d’étranglement suggère que la vitesse d’évolution pourrait continuer à augmenter, ce qui accentue les préoccupations exprimées par le PDG d’Anthropic, Dario Amodei, quant à la nécessité de freiner le développement de l’IA. Toutefois, le manque d’accès complet aux données empêche une validation externe robuste, limitant ainsi la capacité de la communauté scientifique à évaluer les véritables marges de progression et les éventuels scénarios de défaillance.
