Contexte et objectifs

Les détecteurs basés sur les mots réussissent à repérer du texte IA non modifié, mais ils échouent dès que le texte est reformulé. L’étude SlopShape explore une approche plus profonde : exploiter les signatures structurelles du texte – ordre de présentation, type de preuves, voix employée – pour distinguer les contenus commerciaux générés par IA des écrits humains.

Méthodologie et instrument

Les auteurs ont rassemblé 2 250 articles de blogs humains provenant de 268 domaines d’entreprise et 11 250 « miroirs » créés par cinq modèles de pointe, soit un ratio de 1 : 5 entre humains et IA. Un instrument de 214 caractéristiques structurelles a été conçu, puis appliqué par un grand modèle de langage (LLM) pour extraire 187 de ces caractéristiques pertinentes. La validation s’appuie sur une annotation humaine : le score de concordance inter‑annotateurs (kappa) atteint 0,928, tandis que la comparaison humain‑modèle atteint 0,946, ce qui indique une quasi‑équivalence.

Résultats et performances

Sur des entreprises tenues hors jeu pendant l’entraînement, le classifieur atteint un macro‑F1 de 98,0 % grâce uniquement aux caractéristiques structurelles. Cette performance reste stable (98,1 %) lorsque chaque texte IA est reformulé par le même modèle, prouvant la robustesse du signal structurel face au re‑écriture. L’analyse montre que les articles IA adoptent une forme « tidy, self‑announcing », ce qui permet d’attribuer correctement 79,3 % des textes IA à leur modèle d’origine, contre une probabilité aléatoire de 16,7 %. En revanche, les articles humains occupent des configurations structurelles rares, ce qui renforce la séparation entre les deux classes.

Analyse des limites et perspectives

Le travail reproduit les effets observés dans l’étude StoryScope sur la fiction, mais avec des amplitudes plus importantes. La dépendance à un ensemble de cinq modèles de pointe limite la généralisation aux futurs modèles dont les signatures structurelles pourraient diverger. De plus, l’instrument repose sur des caractéristiques extraites par un LLM, ce qui implique un coût de calcul non négligeable pour un déploiement à grande échelle. Les auteurs publient le pipeline, les prompts, le code et les artefacts agrégés afin de permettre des réplications et des extensions, notamment l’évaluation sur d’autres types de contenus (news, forums) et l’intégration dans des systèmes de modération automatisée.