Présentation
Une étude récente a analysé les soumissions sur ArXiv, une plateforme de partage de prépublications scientifiques, pour détecter les textes qui semblent avoir été écrits par des intelligences artificielles (IA). Les résultats montrent que près d'un tiers des nouvelles soumissions présentent des caractéristiques d'écriture automatique.
Méthodologie
Pour mener cette étude, les chercheurs ont développé un détecteur d'écriture automatique calibré pour la rédaction académique. Ce détecteur a été testé sur un ensemble de 12 750 articles, dont des soumissions récentes (2023-2026) et des articles plus anciens (2021-2022) servant de contrôle. Le détecteur a été réglé pour avoir un taux de faux positifs de 0,4 %, ce qui signifie qu'il marque incorrectement 0,4 % des textes écrits par des humains comme étant des écrits automatiques.
Résultats
Les résultats montrent que le pourcentage de soumissions qui semblent être écrites par des IA a augmenté de manière significative depuis l'apparition de ChatGPT. Alors que le taux de détection pour les années 2021 et 2022 est stable à 0,4 %, il augmente progressivement à partir de 2023 pour atteindre environ 32 % sur les trois derniers mois de l'étude. Les domaines scientifiques présentent des taux de détection variés, allant de 0,7 % en mathématiques à 65 % en informatique.
Limitations et interprétations
Les chercheurs soulignent plusieurs limites à leur étude, notamment la taille de l'échantillon de contrôle pour chaque domaine, qui peut affecter la précision des taux de détection par domaine. De plus, le détecteur peut ne pas être sensible à tous les types de générateurs de texte, ce qui pourrait sous-estimer la prévalence réelle de l'écriture automatique. Il est également important de noter que un score élevé ne signifie pas nécessairement que le texte a été entièrement généré par une IA, mais plutôt qu'il présente des caractéristiques d'écriture qui pourraient être le résultat d'une assistance significative de la part d'une intelligence artificielle.
