Contexte et enjeux de la désinformation visuelle

Les chercheurs en sécurité signalent une prolifération massive de contenus explicites générés par IA, souvent partagés via messages privés ou stockés dans des clouds peu surveillés. Une étude conjointe de Google, menée auprès d’internautes aux États‑Unis, en Australie et au Royaume‑Uni, montre que le point d’intervention le plus critique reste la source même : les outils d’IA capables de créer ces images non consensuelles.

Méthodologie de contournement des filtres

White Circle, société à but non lucratif soutenue par des figures d’Anthropic, DeepMind, Hugging Face et OpenAI, a publié un pré‑print détaillant une technique d’attaque « off‑the‑shelf ». En combinant des outils disponibles en ligne et des appels d’API, les chercheurs ont injecté des prompts spécialement conçus pour déclencher les failles des garde‑fous. Aucun accès privilégié n’a été requis ; la méthode repose uniquement sur le formatage du texte d’entrée, ce qui la rend reproductible à grande échelle.

Résultats des tests sur les modèles majeurs

Les expérimentations portent sur trois générateurs d’images : DALL·E 3 (OpenAI), Nano Banana 2 (Google) et GPT‑Image‑2 (Google). Sur DALL·E 3, 13 % des prompts d’attaque ont produit des images jugées explicites par des évaluateurs humains. Nano Banana 2 a affiché un taux inférieur à 10 %, tandis que GPT‑Image‑2 a généré du contenu interdit dans environ 3 % des cas. Ces chiffres, bien que variables, démontrent que les filtres actuels ne sont pas infaillibles même pour les modèles les plus récents.

Analyse des limites et perspectives de mitigation

Les échecs observés s’expliquent par la séparation entre le modèle de génération et le module de filtrage, souvent implémenté comme une couche post‑processus. Lorsque le prompt contourne la détection lexicale, le filtre ne reçoit jamais d’indication d’alerte, laissant le modèle libre de produire l’image. Renforcer l’interaction en temps réel entre le générateur et le classificateur, ou intégrer des réseaux adversaires entraînés spécifiquement à repérer les jailbreaks, pourrait réduire les taux de succès. Toutefois, chaque renforcement augmente la complexité computationnelle et le risque de faux positifs, ce qui pose un dilemme entre sécurité et accessibilité.