Contexte et portée de l’étude
Le projet a cartographié 158 059 publications et 554 670 citations liées au groupe TAPIR du Caltech, couvrant plus de cinquante ans de recherche. Parmi ces références, 49 301 sont reliées au moins trois fois à TAPIR, ce qui constitue le sous‑ensemble exploité pour l’analyse. La répartition temporelle montre 499 articles des années 1970, 2 035 des années 1990 et 18 976 des années 2010, illustrant la concentration récente de la production scientifique.
Méthodologie d’examen automatisé
Un modèle d’IA a été employé pour scanner le texte intégral de 50 269 papiers, soit 421 millions de mots, ce qui représente 76 % du corpus dessiné. Le coût de lecture d’un article est estimé à quelques dollars de temps de calcul, tandis que le « screening » automatisé est pratiquement gratuit. Les contrôles portent sur la présence de langage de type « paper‑mill », de résidus de chatbot, de texte partagé sans auteur commun (43 paires détectées dans 34 286 papiers) et sur les notes « TODO/FIXME » (62 occurrences). Aucun cas de fraude ou de rétractation n’a été identifié parmi les 184 733 documents avec DOI, hormis 13 rétractions hors TAPIR.
Résultats quantitatifs et typologie des erreurs
Les 200 articles les plus cités de TAPIR (2006‑2019) ont reçu un examen complet : re‑derivation des équations, recomputation des valeurs numériques et comparaison avec les versions pré‑print et publiées. 13 erreurs vérifiées ont disparu entre le pré‑print et la version finale, tandis que 56 erreurs subsistaient après la revue par les pairs, indiquant que la revue élimine approximativement une erreur sur cinq. Un exemple notable est une sous‑estimation d’un facteur de deux dans le calcul de l’énergie des ondes gravitationnelles, entraînant un résultat final quatre fois trop grand et reproduit dans six articles jusqu’en 2014.
En élargissant l’analyse à 459 articles supplémentaires, l’outil a confirmé 872 erreurs réparties dans 433 publications. Parmi ces erreurs, 159 ont été propagées dans au moins un article ultérieur, 367 articles ont copié une erreur, et seulement 47 ont fait l’objet d’une critique formelle, dont 21 ont continué à être reproduites. Cette dynamique montre que seulement 4 % des articles très cités ont bénéficié d’une vérification exhaustive, laissant un plafond d’erreurs potentiellement largement sous‑estimé.
Implications pour la validation scientifique
Les données démontrent que la chaîne de citation amplifie les erreurs non corrigées, surtout dans les sous‑domaines structurés en « colonnes » (32 colonnes identifiées, dont la relativité numérique avec 278 articles, 71 provenant de TAPIR). L’automatisation permet de repérer rapidement des incohérences qui échappent aux processus humains traditionnels, mais la couverture reste limitée par l’accès aux textes complets (absence de documents antérieurs à 1991 sur arXiv). Le modèle suggère que l’intégration systématique d’IA dans le cycle de revue pourrait réduire le taux d’erreurs persistantes, à condition d’élargir la base de documents analysés et de coupler les résultats à des mécanismes de correction éditoriaux.