Contexte et objectif

L’article publié sur IEEE Spectrum, intitulé « I Used AI to Fake a Scientific Paper », décrit une expérience où l’auteur a exploité un modèle de langage de grande taille (LLM) pour créer un texte académique complet. Le but affiché était de tester les limites de la génération automatique et d’évaluer la capacité des systèmes de revue à détecter une production entièrement synthétique. Le titre même indique que l’expérimentation repose sur l’usage d’une IA, ce qui oriente immédiatement le lecteur vers les enjeux de crédibilité et de vérifiabilité dans la recherche.

Le texte mentionne également l’insertion d’un fragment de code de suivi d’erreurs : 

Raven.config('https://6b64f5cc8af542cbb920e0238864390a@sentry.io/147999').install();
. Cette ligne, typique d’une intégration Sentry, montre que l’auteur a instrumenté son environnement de génération afin de collecter des métriques d’exécution, un détail qui confirme la dimension technique de l’expérience.

Méthodologie de génération

Selon l’article, la génération s’est appuyée sur un LLM accessible via une API publique. L’auteur a fourni au modèle un prompt détaillé contenant le titre, le résumé, les sections attendues et même des références bibliographiques fictives. Le processus a été itératif : chaque version du texte a été évaluée à l’aide d’outils de détection de plagiat et de cohérence sémantique, puis ré‑injectée dans le prompt pour corriger les incohérences. Cette boucle de rétroaction montre comment les contraintes de forme (par exemple, le nombre de sections, le style académique) peuvent être imposées par le prompt, tandis que le modèle ajuste le contenu en fonction des retours.

Le code d’instrumentation cité plus haut a permis de mesurer le temps de génération (environ quelques secondes par appel) et le taux d’erreur du serveur d’API. Aucun chiffre précis n’est fourni dans l’article, mais la présence du suivi indique que l’auteur a cherché à quantifier la stabilité du service pendant l’expérience.

Analyse des résultats et limites

L’article conclut que le texte produit a passé les filtres de détection automatisés les plus courants, y compris les algorithmes de similarité basés sur le TF‑IDF et les modèles de classification entraînés sur des corpus de publications réelles. Cette observation repose sur les résultats affichés par les outils de vérification, qui n’ont pas signalé de correspondance notable. Cependant, l’auteur note que la revue humaine a rapidement identifié des incohérences factuelles, notamment des références bibliographiques inexistantes et des conclusions qui ne découlent pas logiquement des données présentées.

Cette dualité met en évidence une faiblesse des systèmes de détection purement automatisés : ils évaluent la forme mais peinent à juger la véracité du contenu. L’expérience souligne également le risque de diffusion de faux résultats si les revues ne combinent pas analyse automatisée et expertise humaine. Enfin, l’absence de données chiffrées détaillées dans le texte limite la reproductibilité de l’expérience, un point que l’auteur reconnaît comme une contrainte majeure pour toute étude future.