Introduction
OpenAI a annoncé une nouvelle fonctionnalité appelée Trusted Contact, conçue pour avertir un tiers de confiance en cas de mentions de préjudice auto-infligé au cours d'une conversation. Cette fonctionnalité permet à un utilisateur adulte de ChatGPT de désigner une autre personne comme contact de confiance dans son compte.
Contexte Technique
La fonctionnalité Trusted Contact utilise une combinaison d'automatisation et de révision humaine pour gérer les incidents potentiellement nocifs. Les déclencheurs conversationnels alertent le système d'OpenAI sur les idées suicidaires, qui sont ensuite relayées à une équipe de sécurité humaine. L'entreprise affirme que chaque fois qu'elle reçoit ce type de notification, l'incident est examiné par un humain.
Si l'équipe interne d'OpenAI décide que la situation représente un risque grave pour la sécurité, ChatGPT envoie une alerte au contact de confiance, soit par courriel, message texte ou notification dans l'application. L'alerte est conçue pour être brève et encourager le contact à vérifier l'état de la personne en question.
Analyse et Implications
La fonctionnalité Trusted Contact fait suite aux mesures de sécurité introduites par OpenAI en septembre dernier, qui ont donné aux parents le pouvoir de surveiller les comptes de leurs adolescents, y compris la réception de notifications de sécurité conçues pour avertir les parents si le système d'OpenAI croit que leur enfant est confronté à un « risque grave pour la sécurité ».
La fonctionnalité Trusted Contact est facultative et, même si la protection est activée sur un compte particulier, tout utilisateur peut avoir plusieurs comptes ChatGPT. Les contrôles parentaux d'OpenAI sont également facultatifs, présentant une limitation similaire.
Perspective
La fonctionnalité Trusted Contact fait partie des efforts plus larges d'OpenAI pour construire des systèmes d'IA qui aident les personnes pendant les moments difficiles. L'entreprise continuera à travailler avec des cliniciens, des chercheurs et des décideurs politiques pour améliorer la façon dont les systèmes d'IA réagissent lorsqu'une personne peut être en détresse.
