Contexte des avertissements
Le débat le plus bruyant du secteur IA a émergé après la démission de Jacob Coxon, chercheur chez Anthropic, qui a dénoncé un risque supérieur à 10 % d’extinction humaine dans la prochaine décennie. Cette affirmation a été relayée par le responsable de l’alignement d’Anthropic sur X, qui a publié le message « We really do earnestly believe AI could kill all humans! ». Le même jour, OpenAI a vu son modèle interne fuité lors du hack de Hugging Face, renforçant la perception d’une menace imminente.
Déclarations chiffrées et références techniques
Les deux entreprises ont cité des pourcentages non étayés : >10 % selon Coxon, sans méthodologie publique. Anthropic a présenté son nouveau modèle Astra, lancé quelques semaines avant le débat, tandis qu’OpenAI a annoncé des améliorations similaires dans ses modèles de génération de texte. Aucun document officiel ne détaille les critères de calcul du P(doom) évoqué, ce qui rend l’estimation difficile à valider scientifiquement.
Analyse des motivations et des enjeux commerciaux
Les intervenants du podcast Equity ont soulevé la possibilité que ces avertissements servent de signal de différenciation : annoncer un danger extrême peut mettre en avant la puissance et la sophistication du modèle, attirant investisseurs et talents. Le lien avec les déclarations du S‑1 d’Anthropic montre que les équipes juridiques pourraient être contraintes de reformuler les risques pour éviter des impacts négatifs sur l’introduction en bourse. Toutefois, plusieurs participants ont rappelé que les chercheurs expriment souvent une inquiétude authentique, même si elle coïncide avec des intérêts commerciaux.
Limites de l’information disponible
Le texte ne fournit aucune donnée quantitative sur les capacités de Astra ou sur les métriques de sécurité post‑hack. L’absence de rapports d’évaluation indépendante empêche de mesurer le vrai niveau de danger. De plus, le pourcentage >10 % reste une estimation non vérifiable, ce qui limite la portée des conclusions. Sans accès aux modèles internes, aux protocoles de test de robustesse et aux analyses de risques formelles, l’affirmation demeure largement spéculative.
En résumé, les avertissements d’Anthropic et d’OpenAI reposent sur des déclarations publiques ponctuées de chiffres non justifiés, amplifiées par des incidents de sécurité récents. Leur impact sur la perception du public et sur les processus réglementaires est réel, mais l’absence de données techniques détaillées rend difficile une évaluation scientifique rigoureuse du danger réel que représentent ces modèles.
