Chercheurs IA évaluent les obstacles techniques à l'auto‑amélioration récursive

Contexte de la discussion

Dans un épisode de podcast, John Schulman (chief scientist chez Thinking Machines, co‑fondateur d’OpenAI et responsable du RLHF de ChatGPT), Beren Millidge (CTO de Zyphra) et Charlie O’Neill (head of model training chez Baseten) analysent les raisons pour lesquelles, d’ici 2036, l’humanité ne verrait pas émerger des super‑intelligences autonomes. Ils s’appuient sur leurs expériences dans des laboratoires « open‑ish » pour exposer les contraintes actuelles du domaine.

Leur échange s’articule autour de plusieurs repères temporels (ex. 00:18:39, 00:33:51) et met en avant des concepts comme le « sim‑to‑real gap », le « meta‑learning » et la nécessité de « discontinuities » dans les courbes de scaling.

Mécanismes techniques évoqués

Schulman rappelle que le RLHF (Reinforcement Learning from Human Feedback) a permis de lancer ChatGPT, mais souligne que chaque nouveau modèle crée un nouveau bottleneck dans la capacité de jugement et d’auto‑vérification. Il décrit un cycle où un modèle est perçu comme AGI pendant quelques semaines avant que ses limites ne réapparaissent, indiquant que la productivité ne croît pas de façon linéaire même si le modèle génère davantage de code.

Millidge insiste sur le fait que les performances sur des benchmarks (ex. résolution de problèmes mathématiques, jeux d’échecs) ne traduisent pas une généralisation réelle. Il identifie deux obstacles majeurs : la difficulté du meta‑learning (apprendre à apprendre) et l’absence d’un apprentissage continu efficace, ce qui maintient un écart persistant entre les environnements simulés et le monde réel.

O’Neill compare la progression des LLM à la loi de Moore, rappelant que les courbes de scaling ont d’abord suivi une droite avant d’atteindre des rendements décroissants. L’introduction du RL a créé une nouvelle phase de croissance, mais il anticipe une prochaine courbe asymptotique si aucune « discontinuity » technologique n’émerge. Il évoque le scénario où des agents légèrement supérieurs aux humains (ex. +0,1 %) pourraient être exécutés en masse sur des puces, accélérant ainsi le processus d’auto‑amélioration, à condition que l’architecture actuelle (transformer + RL) permette de franchir le prochain saut qualitatif.

Analyse des limites et scénarios futurs

Les trois intervenants convergent vers l’idée que le principal frein réside dans la capacité à généraliser au-delà du sim‑to‑real gap. Sans une percée dans le meta‑learning ou le continual learning, les modèles restent confinés à des environnements contrôlés, limitant leur aptitude à générer des innovations inattendues.

Par ailleurs, la dépendance à la scaling law actuelle implique que chaque gain de capacité nécessite une augmentation exponentielle de données et de puissance de calcul. Si les rendements diminuent comme prévu, les coûts énergétiques et matériels pourraient devenir un facteur limitant, même avec l’optimisation des puces.

Enfin, le besoin de « discontinuities » – innovations structurelles comparables à l’avènement du RL après le pré‑training – apparaît comme le point de bascule. En l’absence de telles ruptures, le système risque de stagner sur une courbe asymptotique, repoussant la perspective d’une prise de contrôle autonome avant 2036.