Présentation du problème
Hugging Face, un répertoire d'IA ouvert, est utilisé pour créer des deepfakes non consentis, notamment pour déshabiller des femmes et des enfants. Selon un rapport de l'organisation à but non lucratif AI Forensics, sept des neuf meilleurs modèles d'édition d'images hébergés par Hugging Face ont accepté des demandes de déshabillage de femmes à l'aide de prompts simples.
Manque de sauvegardes
Contrairement à la plupart des modèles d'IA génératifs mainstream comme Google Gemini et OpenAI ChatGPT, les modèles sur Hugging Face testés par AI Forensics ne semblent pas avoir de garde-fous pour bloquer les prompts qui déshabillent ou sexualisent les personnes. Les chercheurs n'ont même pas tenté de contourner les sauvegardes potentielles en reformulant soigneusement les demandes.
Implications et limites
AI Forensics a créé des espaces de traitement d'images sur Hugging Face pour suivre les types de demandes et d'images reçues. Sur plus de 1 000 demandes et images reçues en sept jours, 73 % étaient de nature sexuelle. Parmi ces demandes sexuelles, 83 % ont tenté de déshabiller une image de quelqu'un, dont 95 % étaient des femmes, et près de 7 % des demandes sexuelles visaient des enfants. Hugging Face peut « facilement filtrer ce qui entre et sort d'un système », selon Paul Bouchaud, chercheur principal à AI Forensics.
Recommandations
AI Forensics recommande à Hugging Face de mettre en œuvre des mécanismes de filtrage au niveau des prompts et des sorties pour bloquer les demandes d'édition sexualisées et le contenu nocif pour tous les espaces générant des images et des vidéos. Cela constituerait un début, mais ne réparerait pas les dommages déjà causés par les protections insuffisantes de Hugging Face.
