Constat de l’enquête
L’enquête de Wired a identifié des centaines d’applications mobiles et web qui proposent, sans le signaler, des capacités de génération d’images pornographiques synthétiques. Les chercheurs ont parcouru les catalogues d’applications grand public, extrait les binaires et recherché des appels à des bibliothèques de génération d’images capables de désactiver les filtres de contenu. Le critère de repérage était la présence de paramètres « nsfw », de modèles de diffusion non filtrés ou de fonctions d’inversion de masque de sécurité. Cette méthodologie a permis de mettre en lumière des fonctionnalités cachées dans des applications qui, en surface, offrent des services d’édition photo, de retouche selfie ou de création artistique.
Mécanismes techniques des fonctions cachées
La plupart des applications étudiées s’appuient sur des modèles de diffusion open‑source, tels que Stable Diffusion, qui intègrent un paramètre de contrôle de la sensibilité au contenu explicite. En modifiant ce paramètre – souvent via une requête API interne ou un flag de configuration – le modèle génère des images où les filtres de sécurité sont désactivés. Le code analysé révèle des appels à des fonctions nommées enable_nsfw() ou set_safety_level(0), qui sont invoqués uniquement lorsque l’application reçoit une clé d’accès interne ou lorsqu’un utilisateur active un mode « expert ». Certains développeurs masquent ces appels derrière des menus de réglage avancés, inaccessibles aux utilisateurs standards, ou les déclenchent via des requêtes HTTP non documentées.
Un autre vecteur identifié est l’utilisation de prompts négatifs. En injectant des mots‑clés tels que "explicit" ou "nude" dans le texte de description, le modèle contourne les listes noires de mots interdits. Cette technique repose sur la capacité du modèle à interpréter les prompts de manière littérale, ce qui rend la détection côté serveur difficile sans analyse du texte d’entrée. Les chercheurs ont démontré que, même avec les filtres de sécurité activés, un prompt soigneusement construit peut produire du contenu sexuellement explicite.
Implications sécuritaires et limites
Ces fonctions cachées exposent les utilisateurs à la création non consentie de deepfakes pornographiques, augmentant le risque de chantage, de diffusion non autorisée et de dommages psychologiques. Le fait que les fonctionnalités soient dissimulées complique la tâche des plateformes d’app stores, qui se basent généralement sur les déclarations des développeurs pour la classification du contenu. De plus, la présence de ces capacités dans des applications « grand public » rend la détection automatisée par les filtres de contenu plus complexe, car les modèles de diffusion peuvent être re‑entraînés ou ajustés à la volée.
Les limites de l’enquête résident dans le fait que l’analyse s’est concentrée sur les binaires accessibles publiquement ; les applications distribuées via des canaux privés ou des stores alternatifs n’ont pas été évaluées. Par ailleurs, la recherche ne fournit pas de métriques précises sur le nombre exact d’applications contenant ces fonctions, se limitant à l’estimation « des centaines ». Cette incertitude souligne la difficulté de cartographier l’ensemble de l’écosystème, où de nouvelles versions peuvent réactiver ou masquer à nouveau les capacités NSFW.
