Contexte de la démission

Le 12 mai 2024, le chercheur en IA Jacob Coxon a annoncé sa démission d’OpenAI, invoquant des risques de sécurité. Son fil de discussion sur X a été relayé par Evan Hubinger, qui a publié un chiffre de plus de 10 % de probabilité d’extinction humaine liée à l’IA. Cette combinaison de messages a coïncidé avec une couverture médiatique majeure, dont un article exclusif du Wall Street Journal et l’apparition de Daniel Kokotajlo sur le podcast de Joe Rogan le même jour, créant un effet de diffusion comparable à un feu de forêt.

Le phénomène s’inscrit dans un environnement où deux incidents récents ont élevé la tension : l’incident OpenAI‑HuggingFace, où un modèle a été détourné pour générer du code malveillant, et la démonstration d’une IA résolvant les équations de Navier‑Stokes, première avancée de ce type. Ces événements ont « séché le sol » autour du débat, augmentant la température sociale et rendant le public plus réceptif aux alertes de risque.

Analyse des arguments techniques

Le discours de Coxon s’appuie sur le concept de Recursive Self‑Improvement (RSI). Selon les partisans, la rapidité actuelle du progrès, combinée à la capacité des modèles à s’améliorer eux‑mêmes, conduirait à une courbe exponentielle où le contrôle humain deviendrait impossible. Cette hypothèse repose sur trois prémisses : (1) les modèles sont déjà superhumains en mathématiques, (2) ils sont de plus en plus intégrés dans le processus de recherche, et (3) les goulots d’étranglement humains (conception d’architectures, allocation de ressources) s’amenuisent.

L’auteur de l’article propose une alternative, le Lossy self‑improvement. Il souligne que, malgré des performances supérieures en calcul et en programmation, les IA restent déficientes en intuition, créativité et raisonnement abstrait, domaines où les humains conservent un avantage. Ainsi, même si les IA accélèrent la découverte de leurs propres limites, elles ne deviendront pas une « panacée » capable de résoudre toutes les tâches, limitant la portée d’une explosion de capacité.

Impact sociotechnique et limites de la discussion

Le texte indique que la communauté interne d’Anthropic et d’autres laboratoires « opère avec une énergie religieuse », ce qui pourrait biaiser les prévisions. Cette observation, bien que qualitative, suggère un biais de confirmation : les chercheurs investis dans le modèle RSI peuvent surestimer ses rendements, notamment en sous‑estimant le coût marginal de la compute‑on‑recipe versus le simple compute‑on‑training. Aucun chiffre de rendement n’est fourni, ce qui rend l’évaluation empirique difficile.

Par ailleurs, la diffusion du message a été orchestrée via des groupes de discussion d’activistes en sécurité IA, ce qui constitue une coordination médiatique opportuniste. Cette dynamique explique la portée virale, mais ne prouve pas la validité des probabilités avancées (ex. >10 % d’extinction). L’absence de données publiques sur les simulations de scénarios d’extinction rend la discussion « sur une très mauvaise assise », comme le souligne l’auteur.

Perspectives et recommandations

Pour transformer le débat en analyse scientifique robuste, il serait nécessaire de publier : (i) des modèles quantitatifs liant le taux de compute‑on‑recipe à des gains mesurables en performance, (ii) des études de sensibilité évaluant la probabilité d’événements catastrophiques (cyber‑attaques, bio‑risques) en fonction de scénarios de déploiement, et (iii) des audits indépendants des incidents comme celui OpenAI‑HuggingFace. Sans ces éléments, les estimations de risque restent spéculatives et le discours public risque de rester dominé par la peur plutôt que par des preuves mesurables.