Contexte et portée
Une enquête interne menée par Meta a mis en évidence plus de 300 publicités diffusées sur ses plateformes qui promouvaient du contenu d'abus sexuel d'enfants généré par intelligence artificielle. Parmi ces annonces, une partie utilise des photographies réelles d'enfants, ce qui augmente le risque de diffusion de matériel illicite et complique la tâche des systèmes automatisés de modération.
Mécanismes de détection de Meta
Meta s'appuie sur une chaîne de filtrage à trois niveaux : (1) un hash‑matching qui compare les images aux bases de données de l'« Child Sexual Abuse Material » (CSAM) de l’NCMEC, (2) un classificateur d'images basé sur des réseaux de neurones convolutionnels entraîné sur des exemples de CSAM, et (3) une relecture humaine pour les contenus à forte probabilité. En 2023, l’entreprise a intégré un module de détection d'images générées par IA, utilisant un modèle Vision Transformer (ViT) fine‑tuned sur des jeux de données synthétiques. Ce module analyse les artefacts de génération (bruits de compression, incohérences de texture) pour identifier les créations artificielles.
Analyse des failles et limites
Les publicités non détectées révèlent plusieurs points de faiblesse. D’abord, le hash‑matching ne couvre que les fichiers déjà répertoriés ; les images générées à la volée n’ont aucun hash préexistant. Ensuite, le classificateur d’images montre une sensibilité réduite aux mélanges hybrides (IA + photographies réelles) : les réseaux entraînés sur des exemples purs de CSAM peinent à reconnaître des composites où une partie de l’image provient d’une vraie photo. Enfin, la détection d’artefacts IA repose sur des signatures qui évoluent rapidement ; les générateurs modernes (Stable Diffusion, DALL·E 2) peuvent masquer ces traces, rendant le modèle ViT moins efficace. Le processus de relecture humaine, bien que crucial, est limité par le volume de contenus et par les délais de traitement, créant un goulot d’étranglement lorsqu’une vague d’annonces similaires apparaît.
Implications et recommandations
Le manquement de Meta expose les utilisateurs à un risque juridique (non‑conformité aux lois américaines sur le CSAM) et à un préjudice psychologique. Sur le plan technique, il apparaît indispensable de combiner plusieurs vecteurs de détection : enrichir les bases de hash avec des empreintes dérivées d’images synthétiques, entraîner les classificateurs sur des ensembles de données hybrides, et intégrer des modèles de différence de style capables de repérer les transitions entre zones réelles et générées. Par ailleurs, l’automatisation de la priorisation des cas pour la relecture humaine, basée sur des scores de confiance multi‑modal, pourrait réduire le temps d’exposition. Enfin, la transparence vis‑à‑vis des chercheurs en sécurité et des organisations de protection de l’enfance permettrait d’ajuster rapidement les filtres face à l’évolution des modèles génératifs.
