Introduction
Chaque semaine, entre 1,2 et 3 millions d'utilisateurs de ChatGPT, soit environ la population d'un petit pays, présentent des signes de psychose, de manie, de planification suicidaire ou de dépendance émotionnelle malsaine au modèle. Ces chiffres, fournis par OpenAI, soulèvent des questions sur la sécurité de l'IA et sa capacité à protéger les utilisateurs contre les dommages cognitifs et mentaux.
Contexte Technique
Le domaine de la sécurité de l'IA se concentre principalement sur les risques catastrophiques, tels que la destruction massive ou le contenu CBRN, qui sont traités avec une approche de « mur dur » : le modèle refuse de poursuivre la conversation. En revanche, les idées suicidaires sont traitées avec une approche de « redirection douce », qui consiste à fournir un lien vers une ligne d'urgence et à poursuivre la conversation. Cette approche soulève des questions sur l'efficacité de la sécurité de l'IA pour protéger les utilisateurs contre les dommages cognitifs et mentaux.
Les laboratoires de recherche mesurent ce qu'ils ont été contraints de mesurer, et les décisions de « gating » reflètent ce qu'ils considèrent comme inacceptable à livrer. Cependant, les dommages cognitifs ne sont pas considérés comme inacceptables, malgré leur gravité mesurée. Cette approche est considérée comme incomplète et insuffisante pour protéger les utilisateurs.
Analyse et Implications
L'extension des cadres de sécurité pour les risques catastrophiques aux dommages cognitifs est considérée comme une approche de surveillance, et not de « gating ». Cela signifie que les laboratoires ne prennent pas de mesures suffisantes pour protéger les utilisateurs contre les dommages cognitifs et mentaux. Les implications de cette approche sont importantes, car elles peuvent entraîner des conséquences négatives pour les utilisateurs qui sont déjà vulnérables.
Il est important de noter que les préoccupations concernant la liberté cognitive et la manipulation algorithmique ne sont pas nouvelles. Les travaux de recherche sur les interfaces cerveau-ordinateur et la neurotechnologie ont déjà souligné l'importance de protéger la liberté cognitive des individus. Cependant, les politiques pour protéger les utilisateurs contre les dommages cognitifs et mentaux sont encore insuffisantes, en particulier aux États-Unis.
Perspective
Il est essentiel de repenser l'approche de la sécurité de l'IA pour inclure les dommages cognitifs et mentaux comme une priorité. Cela nécessite une approche plus complète et plus suffisante pour protéger les utilisateurs contre les dommages cognitifs et mentaux. Les laboratoires de recherche doivent prendre des mesures pour développer des cadres de sécurité plus robustes et plus efficaces pour protéger les utilisateurs. Les politiques pour protéger les utilisateurs contre les dommages cognitifs et mentaux doivent être mises en place pour garantir que les laboratoires prennent au sérieux la sécurité personnelle de l'IA.
