Introduction
Anthropic PBC, une entreprise spécialisée dans l'intelligence artificielle (IA), a lancé un appel à une pause mondiale dans le développement de l'IA, craignant que les systèmes d'IA ne deviennent bientôt capables de s'améliorer seuls sans surveillance humaine, ce qui pourrait entraîner de graves perturbations sociétales.
Contexte Technique
Les systèmes d'IA sont en train de se rapprocher d'un concept théorique appelé « amélioration récursive », qui fait référence à la capacité des systèmes d'IA à s'améliorer et à étendre leurs propres capacités de manière indépendante. Anthropic estime que cette étape pourrait être atteinte dans les deux prochaines années.
La société propose une coordination mondiale pour ralentir ou mettre temporairement en pause le développement de nouveaux modèles d'IA, afin de permettre aux structures sociétales et aux recherches sur l'alignement de rattraper leur retard par rapport à la croissance rapide de l'IA.
Analyse et Implications
Anthropic estime que la mise en place d'un système de vérification solide, avec la coopération de pays comme la Chine, serait nécessaire pour garantir le respect d'une pause dans le développement de l'IA. Cependant, la mise en œuvre d'une telle pause est considérée comme difficile, voire impossible, en raison de la nature cachée des entraînements d'IA.
Les critiques estiment que Anthropic utilise la peur pour encourager des réglementations qui favoriseraient ses propres algorithmes propriétaires, au détriment des modèles open-source.
Perspective
Anthropic entend poursuivre son idée et collaborer avec d'autres acteurs pour trouver des moyens de ralentir ou de mettre en pause le développement de l'IA. La société souhaite organiser un débat plus large avec les décideurs politiques et les chercheurs en IA pour discuter de la probabilité d'une amélioration récursive et de la mise en place d'un système de vérification.
