Contexte et portée du problème
Le projet Tech Transparency Project (TTP) a identifié 332 publicités diffusées sur Facebook et Instagram en 2024 contenant du matériel d'abus sexuel d'enfants (CSAM) généré par intelligence artificielle. La plupart de ces annonces promouvaient des applications chinoises dites « nudify », capables de transformer des photos d'enfants en vidéos à caractère sexuel. Parmi les cibles, on retrouve une photo de presse d'une princesse européenne et des images extraites du compte Instagram d'une préadolescente influente, démontrant que les acteurs malveillants utilisent des visages réels pour augmenter la crédibilité des contenus synthétiques.
Fonctionnement technique des applications « nudify »
Ces applications reposent sur des modèles de diffusion ou de génération d'images, entraînés sur d'énormes bases de données publiques. Le processus se déroule en deux étapes : d'abord, le modèle identifie les traits faciaux d'une image source, puis il applique un réseau de transformation qui remplace les vêtements par des textures explicites. Le résultat est souvent exporté sous forme de vidéo, ce qui rend la détection plus difficile, car les systèmes de modération traditionnels analysent principalement les images statiques. De plus, les modèles sont souvent hébergés sur des serveurs étrangers, contournant les filtres géographiques appliqués par Meta.
Défaillances de la chaîne de modération de Meta
Meta a mis plusieurs jours à retirer les publicités incriminées, révélant une latence critique dans le pipeline de modération. Le système de détection automatisée s'appuie sur des classificateurs d'images entraînés sur des exemples de CSAM traditionnel, mais il ne reconnaît pas les artefacts générés par IA, qui diffèrent au niveau des textures et des motifs de bruit. En outre, la plateforme utilise un modèle de signalement humain où les contenus suspectés sont évalués par des modérateurs après un filtrage initial. Cette architecture crée un goulot d'étranglement : les 332 annonces ont échappé aux filtres automatiques et n'ont été repérées que par des tiers externes, ce qui explique le délai de plusieurs jours avant leur suppression.
Implications légales et perspectives d'amélioration
Le Département de la Justice américain a clarifié que le CSAM généré par IA est juridiquement équivalent au CSAM réel, ce qui expose Meta à des poursuites pour non‑conformité aux lois fédérales. Pour réduire le risque, Meta devra intégrer des détecteurs de génération d'IA capables d'identifier les empreintes numériques laissées par les modèles de diffusion, comme les artefacts de fréquence ou les incohérences de lumière. Un renforcement du flux de travail, avec un seuil de confiance plus bas pour les contenus contenant des visages d'enfants, permettrait d'escalader automatiquement les cas suspects vers les modérateurs humains. Enfin, la coopération avec les fournisseurs d'applications chinoises et la mise en place de listes noires de domaines d'API d'IA pourraient limiter la diffusion de ces outils sur les réseaux publicitaires de Meta.
