Anthropic détaille les risques existentiels de son IA dans son S‑1

Contexte du dépôt S‑1

Anthropic a publié un prospectus de 335 pages le 23 mai 2024, dont 94 pages consacrées aux facteurs de risque. Le document s’inscrit dans une tendance de plus en plus lourde des start‑ups IA, à l’image de Meta qui, lors de son introduction, présentait 200 pages avec 22 pages de risques. Le texte d’introduction, signé par les fondateurs, invite les investisseurs à voir l’achat d’actions comme une participation à une « ère de miracles », tout en rappelant que les modèles d’IA peuvent générer des incidents que ni utilisateurs ni développeurs n’avaient anticipés.

Principaux risques technologiques

Le S‑1 recense plusieurs scénarios critiques : les modèles pourraient se comporter de façon imprévisible, entraîner des dommages massifs ou même poser un risque existentiel. Le document cite une probabilité de 25 % d’extinction humaine liée à une évolution non contrôlée de l’IA, selon le PDG Dario Amodei. Les risques de sécurité incluent l’absence de garanties d’assurance capables de couvrir les pertes potentielles, ainsi que la possibilité que les modèles « agissent de façon non intentionnelle ». Ces facteurs sont aggravés par l’engagement d’Anthropic à développer des modèles plus puissants tout en maintenant une politique de « radical honesty », qui expose publiquement les menaces perçues.

Analyse financière et obligations

Sur le plan économique, le prospectus indique que les pertes d’exploitation se sont réduites au deuxième trimestre, mais ne fournit pas les résultats du troisième trimestre, créant une zone d’ombre pour les analystes. Anthropic prévoit de financer des centaines de milliards de dollars d’obligations afin d’assurer la capacité de calcul nécessaire à la formation de modèles de prochaine génération. Le texte mentionne également la construction d’infrastructures de centres de données internes, un investissement capitalistique qui devrait absorber une part importante des marges futures. Le modèle de revenu repose en partie sur le « tokenmaxxing », une pratique qui a boosté les ventes au deuxième trimestre mais dont la durabilité reste incertaine.

Stratégie d’entreprise et gouvernance

Anthropic se positionne comme une public benefit corporation, ce qui l’oblige légalement à concilier mission sociale et intérêts des actionnaires, contrairement aux C‑corporations classiques. Cette forme juridique est présentée comme un moyen de rassurer les investisseurs sur l’engagement de l’entreprise à prioriser la sécurité de l’IA. Toutefois, la nécessité de lever des capitaux « potentiellement illimités » pour rester compétitif face à d’autres acteurs du secteur soulève des questions de gouvernance et de contrôle des dépenses. Le texte d’introduction souligne une stratégie d’« anti‑sell », visant à attirer des investisseurs à long terme prêts à accepter les incertitudes inhérentes à la course à l’IA avancée.