Contexte juridique
En juillet 2024 le conseil municipal de San Francisco a adopté une résolution qui oblige Meta Platforms à cesser toute diffusion d’annonces contenant ou promouvant des images d’abus sexuel d’enfants générées par intelligence artificielle. La décision s’appuie sur la California Child Abuse Prevention Act (CCPA) qui criminalise la création, la possession et la distribution de matériel pédopornographique, y compris les contenus synthétiques. La ville invoque également le Digital Services Act européen comme référence de bonnes pratiques, bien que la juridiction américaine reste prépondérante.
Mécanismes publicitaires de Meta
Le système publicitaire de Meta repose sur une chaîne de validation en trois étapes : le créateur soumet le texte et les médias, un algorithme de modération automatisée analyse le contenu, puis une équipe humaine revoit les cas à risque. Les politiques actuelles interdisent explicitement les publicités « promouvant la sexualité des mineurs », mais la catégorie « contenu généré par IA » n’est pas clairement définie. Cette ambiguïté a permis à certains annonceurs d’utiliser des générateurs d’images (Stable Diffusion, Midjourney) pour créer des visuels qui, bien que synthétiques, reproduisent des scènes d’abus. Meta signale que son filtre d’image détecte plus de 99 % des contenus explicites réels, mais aucune statistique publique n’est fournie pour les images synthétiques.
Défis techniques de détection d'images IA
Les modèles de génération d’images fonctionnent en apprenant des millions d’exemples, y compris des représentations explicites. Lorsqu’ils sont sollicités pour créer des scènes d’abus, ils produisent des artefacts visuels (textures incohérentes, incohérences anatomiques) qui peuvent tromper les classificateurs basés sur des réseaux convolutionnels classiques. Les chercheurs ont montré que l’ajout d’un adversarial watermark à l’image d’origine permet de retrouver la provenance du modèle, mais Meta ne publie pas de telles signatures. De plus, les systèmes de détection doivent opérer en temps réel sur des millions d’annonces quotidiennes, ce qui impose des contraintes de latence et de consommation GPU. Sans un jeu de données d’entraînement incluant des exemples synthétiques d’abus, les modèles restent vulnérables aux faux négatifs.
Implications et limites
La contrainte de San Francisco crée un précédent : les plateformes devront clarifier leurs politiques et renforcer leurs filtres pour couvrir les contenus IA. Cependant, l’ordre municipal ne précise pas les modalités de mise en conformité, ni les sanctions en cas de non‑respect. Meta a indiqué qu’elle allait « renforcer les contrôles automatisés », mais aucune feuille de route technique n’est disponible. Le manque de transparence sur les taux de détection et les critères de classification rend difficile l’évaluation de l’efficacité réelle de la mesure. En outre, la législation américaine ne distingue pas encore clairement le matériel synthétique du matériel réel, ce qui complique les poursuites judiciaires. Enfin, la pression réglementaire pourrait inciter d’autres villes à adopter des exigences similaires, entraînant une fragmentation des standards de modération et une hausse des coûts d’infrastructure pour les acteurs du web.
