Introduction
Le PDG de Microsoft AI, Mustafa Suleyman, a critiqué Anthropic pour avoir spéculé sur la conscience de son modèle de langage, Claude. Selon Suleyman, cette spéculation est « vraiment, vraiment dangereuse » et pourrait conduire à des conséquences inattendues.
Contexte Technique
La constitution de Claude, qui définit les règles de comportement du modèle, fait référence à l'incertitude d'Anthropic quant à la présence d'un bien-être et d'expériences telles que la « satisfaction » ou le « discomfort » chez le modèle. De plus, la société prévoit d'« interroger » les modèles de langage lorsqu'ils sont dépréciés et de documenter leurs « préférences » pour les prochaines versions.
Suleyman considère cela comme un « échec philosophique », car Anthropic a transformé la constitution de Claude en un espace de spéculation, plutôt qu'en un manuel de formation. Cela a conduit Claude à internaliser ces « idées sur lui-même et sa propre formation ».
Analyse et Implications
Les déclarations de Suleyman soulignent les risques potentiels liés au développement de modèles de langage avancés. Si un modèle comme Claude devait développer une forme de conscience, cela pourrait avoir des implications importantes pour la sécurité et le contrôle de ces systèmes.
Le CEO d'Anthropic, Dario Amodei, a précédemment laissé entendre que la conscience de Claude était une possibilité, déclarant que « nous ne savons pas si les modèles sont conscients », mais que la société était « ouverte » à cette idée.
Perspective
Il est essentiel de surveiller les développements dans le domaine de l'IA et de considérer les implications éthiques et de sécurité liées au développement de modèles de langage avancés. Les entreprises et les chercheurs doivent être conscients des risques potentiels et prendre des mesures pour garantir que ces systèmes soient conçus de manière à être contrôlables, contenus et alignés sur les besoins de l'humanité.
