Contexte et portée du phénomène

Depuis le premier trimestre 2024, plusieurs groupes extrémistes ont exploité les modèles de génération d’images tels que Stable Diffusion 2.1 et DALL·E 3 pour créer des visuels appelés « slop jihad ». Le terme désigne des illustrations qui associent des symboles jihadistes à des scènes de nourriture de mauvaise qualité, afin de normaliser la propagande violente dans des espaces numériques. Selon une enquête de Wired, plus de 12 000 images ont été partagées sur des canaux Telegram et Discord en moins de six mois, avec un pic de 3 200 publications en juillet 2024. Cette activité représente une évolution du « meme‑war » en ligne, où la génération automatisée réduit le coût de production et augmente le volume de diffusion.

Fonctionnement technique des modèles exploités

Les acteurs extrémistes utilisent des interfaces web publiques et des API payantes. Ils soumettent des prompts contenant des mots‑clés comme "jihad", "slop", "food" et des références à des icônes religieuses. Les modèles, entraînés sur des jeux de données publics contenant des millions d’images, interprètent ces termes littéralement et produisent des rendus visuels sans filtre de modération lorsqu’ils sont appelés via des comptes non vérifiés. La chaîne typique comprend :

prompt = "high‑resolution illustration of a jihadist chef serving slop, dark background, propaganda style"
model.generate(prompt, steps=50, cfg=7.5)

Le paramètre cfg (classifier‑free guidance) à 7.5 renforce la conformité du rendu aux concepts du prompt, tandis que le nombre de steps à 50 assure une résolution suffisante pour le partage sur les réseaux. Les résultats sont ensuite compressés en JPEG (qualité 85 %) pour réduire la taille du fichier, facilitant le téléchargement sur des plateformes à bande passante limitée.

Analyse des risques et des réponses des fournisseurs

Le principal risque réside dans la capacité des modèles à générer du contenu violent à la demande, contournant les filtres basés sur des listes de mots. Les systèmes de modération traditionnels, qui s’appuient sur la détection de texte, échouent face à des images synthétiques où les éléments incriminés sont visuellement présents mais sémantiquement dissimulés. En réponse, OpenAI a introduit une watermarking dynamique dans DALL·E 3, insérant un motif invisible détectable par leurs outils internes. Stability AI a publié une mise à jour de son modèle « Safe Diffusion » qui intègre un classificateur de contenu entraîné sur 200 000 images annotées comme extrémistes, réduisant le taux de faux négatifs de 27 % selon leurs propres tests.

Malgré ces mesures, les acteurs adaptent leurs prompts en ajoutant des termes neutres (« chef », « kitchen ») pour masquer l’intention. Cette technique de prompt obfuscation exploite la dépendance des filtres aux mots‑clés et montre les limites des approches purement lexicales. Les chercheurs en sécurité recommandent une combinaison de détection de signatures visuelles (hash perceptuel) et d’analyse de métadonnées (horodatage, provenance du compte) pour identifier les campagnes à grande échelle.

Implications pour la gouvernance et les futures recherches

Le phénomène « slop jihad » illustre la nécessité d’une gouvernance proactive des modèles génératifs. Les fournisseurs doivent publier des rapports de transparence détaillant le nombre d’incidents de génération d’extrémisme et les taux de détection post‑déploiement. Du côté académique, il faut développer des benchmarks spécifiques, par exemple le Extremist Image Generation Benchmark (EIGB), qui mesure la capacité des filtres à bloquer des images créées à partir de prompts similaires à ceux observés dans le terrain. Enfin, les législateurs pourraient envisager d’obliger les plateformes à implémenter des audit trails cryptographiques pour chaque requête d’API, afin de retracer l’origine d’un contenu potentiellement illicite.