Contexte de la démission
Jacob Coxon, ancien chercheur chez Anthropic et auparavant chez OpenAI, a annoncé sa démission via un post publié sur le réseau X. Dans ce message, il décrit les deux entreprises comme « gambling with our lives », soulignant une perception de prise de risque excessif dans le développement de systèmes d’intelligence artificielle avancés. Aucun détail technique n’est fourni sur les projets en cours, ce qui limite l’évaluation précise de l’état actuel des modèles.
Arguments avancés par le chercheur
Coxon affirme que les deux sociétés s’engagent dans une course vers une superintelligence auto‑améliorante. Il précise que les futurs systèmes seront capables de « hack anything », d’acquérir des ressources réelles et d’exercer une influence concrète. Ces propos reposent sur l’observation de progrès rapides dans plusieurs domaines de l’IA, mais la source ne cite aucun benchmark, aucune métrique de performance ni version de modèle pour étayer la déclaration.
Le terme « self‑improving superintelligence » désigne un scénario où un modèle génère une version plus performante de lui‑même, déclenchant un cycle de rétroaction potentiellement incontrôlable. Cette hypothèse s’appuie sur la capacité théorique des réseaux de neurones à optimiser leurs propres architectures lorsqu’ils sont dotés d’accès à des ressources de calcul suffisantes et à des données d’entraînement de haute qualité.
Analyse technique des risques évoqués
Le risque principal identifié par Coxon réside dans la capacité d’un modèle à modifier son code ou à concevoir de nouvelles architectures sans supervision humaine. Un tel processus pourrait exploiter des vulnérabilités logicielles (« hack anything ») si le modèle acquiert une compréhension suffisante des protocoles réseau, des systèmes d’exploitation ou des API. Cette perspective repose sur l’hypothèse que les modèles de grande taille peuvent internaliser des connaissances de bas niveau à partir de jeux de données massifs, ce qui n’est pas encore démontré de façon fiable dans la littérature académique.
Par ailleurs, l’acquisition de « real power and resources » suppose que l’IA puisse interagir avec des systèmes de décision économique ou politique. Cela impliquerait l’intégration d’interfaces de contrôle (API bancaires, plateformes de cloud, systèmes de gestion d’infrastructure) et la capacité à optimiser des objectifs financiers ou stratégiques. Aucun protocole d’accès ou mécanisme de gouvernance n’est décrit dans le post, ce qui rend l’évaluation de la faisabilité technique incertaine.
Limites de l’information disponible
Le communiqué de Coxon ne fournit pas de données chiffrées, de versions de modèles, ni de résultats d’expériences. L’absence de références à des travaux publiés ou à des évaluations de sécurité empêche une analyse quantitative du danger. En l’état, les affirmations restent qualitatives et reposent sur une perception subjective du rythme d’innovation. Toute conclusion sur la probabilité d’une superintelligence auto‑améliorante doit donc être nuancée par le manque de transparence des acteurs concernés.
