Contexte et objectifs

En 2023, la communauté de Wikipédia a créé le WikiProject AI Writing pour identifier et retirer les contributions générées par des modèles de langage. L’initiative répond à la multiplication d’articles créés à l’aide d’outils comme ChatGPT, dont la véracité et la conformité aux standards de vérifiabilité restent incertaines. Le projet s’appuie sur les directives de la politique Vérifiabilité et sur les discussions récentes du Village Pump concernant la transparence des sources.

Mécanismes de détection automatisée

Le groupe utilise le service ORES (Objective Revision Evaluation Service), qui applique des modèles d’apprentissage supervisé pour attribuer un score de probabilité d’origine IA à chaque révision. Le modèle, entraîné sur un corpus de textes annotés manuellement, analyse des caractéristiques lexicales telles que la fréquence de n‑grams rares et la structure des phrases. Un seuil de 0,7 a été fixé : les révisions dépassant ce score sont marquées pour une revue humaine. Le code d’initialisation du suivi d’erreurs, présent dans certaines pages de test, illustre l’intégration de la télémétrie :

Raven.config('https://6b64f5cc8af542cbb920e0238864390a@sentry.io/147999').install();

Ce fragment montre comment les développeurs peuvent capturer les exceptions générées lors du traitement des scores ORES, facilitant ainsi le diagnostic des faux positifs.

Processus de nettoyage communautaire

Une fois qu’une révision est signalée, les contributeurs du WikiProject examinent le texte, vérifient les références et décident de le conserver, le modifier ou le supprimer. Le protocole prévoit une discussion de 48 heures sur la page de discussion de l’article avant toute suppression définitive, afin de permettre aux auteurs de justifier leurs ajouts. Les suppressions sont enregistrées dans le journal Deletion Log, offrant une traçabilité complète.

Limites et perspectives

Le principal défi réside dans le taux de faux positifs : certains articles rédigés par des humains affichent des scores élevés en raison d’un style très formel ou d’une utilisation intensive de citations. Le projet prévoit d’affiner le modèle en intégrant davantage de données multilingues, car la plupart des entraînements actuels se concentrent sur l’anglais. Par ailleurs, la dépendance à ORES implique que toute modification du modèle nécessite une revalidation communautaire, ce qui peut ralentir les mises à jour. Enfin, l’absence de métriques publiques détaillées sur le nombre d’articles traités limite l’évaluation de l’impact à grande échelle.