Détection de textes générés par LLM avec apprentissage automatique classique

Présentation du projet

Le projet consiste à détecter les textes générés par les modèles de langage (LLM) en utilisant des méthodes d'apprentissage automatique classiques. L'auteur a constaté que les textes générés par les LLM présentent des modèles statistiques forts qui peuvent être distingués des contenus écrits par des humains en utilisant des modèles d'apprentissage automatique traditionnels.

Méthodologie

Pour entraîner le modèle, l'auteur a utilisé des données issues de plateformes en ligne, en filtrant les articles publiés entre 2010 et 2022. Il a ensuite utilisé un LLM pour générer des résumés de ces textes, puis a régénéré des articles complets à partir de ces résumés. Cela a fourni un nombre équivalent d'échantillons de textes générés par LLM, diversifiés en termes de genre et proches du contenu humain original.

Les données ont été prétraitées en utilisant la bibliothèque Scikit-learn, en appliquant la méthode TF-IDF (Term Frequency-Inverse Document Frequency) pour transformer les textes en vecteurs numériques. Ensuite, un modèle de classification linéaire (LinearSVC) a été entraîné pour prédire si un texte est généré par un LLM ou non.

Résultats et analyse

Les résultats ont montré que le modèle de classification linéaire atteint une précision de environ 85% pour la détection de textes générés par LLM. L'auteur a également constaté que les textes générés par les LLM présentent des modèles de choix de mots détectables, même avec un classifieur Naive Bayes simple.

Les résultats ont également montré que les modèles de LLM semblent trop similaires les uns aux autres, probablement en raison d'une distillation mutuelle, ce qui rend la classification plus difficile. Pour résoudre ce problème, l'auteur a entraîné sept modèles de classification binaires distincts et a utilisé un vote majoritaire pour déterminer si un texte est généré par un LLM.

Conclusion et perspectives

Les résultats de ce projet montrent que les méthodes d'apprentissage automatique classiques peuvent être efficaces pour détecter les textes générés par les LLM. Cependant, il est important de noter que les modèles de LLM évoluent rapidement et que les méthodes de détection doivent être constamment mises à jour pour rester efficaces. De plus, les résultats soulignent l'importance de la transparence et de la responsabilité dans l'utilisation des LLM pour générer du contenu.