Ariely et Wertenbroch : données de l’étude sur les délais falsifiées

Contexte de l’étude originale

En 2002, Ariely et Wertenbroch ont publié dans Psychological Science une expérience sur l’impact des échéances sur la performance de relecture. Soixante participants ont été répartis aléatoirement en trois groupes de vingt : échéances espacées (un document chaque semaine), choix libre des échéances (dans les 21 jours) et date unique (les trois documents le jour 21). Chaque sujet devait corriger les fautes de trois documents de 100 erreurs chacun.

Analyse des données et signaux d’alerte

Les fichiers Excel fournis par Kyle Hyndman en 2023, datés de 2006 et indiquant « Last saved by Dan Ariely », contiennent les résultats de l’étude 2. Ils reproduisent exactement les neuf moyennes et leurs écarts‑type présentés dans l’article. Les moyennes rapportées sont de 136,1 corrections pour le groupe à échéances espacées et de 71,1 pour le groupe à date unique, soit une différence de 65 corrections. Le calcul du Cohen’s d donne 2,5 et le coefficient de corrélation r = 0,79, ce qui place l’effet parmi les plus importants jamais observés dans une tâche de performance cognitive.

Quatre anomalies majeures ont été relevées : (1) la taille d’effet est exceptionnellement élevée pour une mesure bruitée comme la détection d’erreurs ; (2) les écarts‑type sont identiques entre les trois conditions, ce qui est improbable compte tenu de la variabilité humaine ; (3) les valeurs de moyenne et d’erreur standard correspondent exactement aux chiffres affichés dans le graphique, sans aucune variation typique d’un jeu de données réel ; (4) aucune des parties prenantes, notamment Klaus Wertenbroch, n’a jamais reçu les données originales, ce qui empêche toute vérification indépendante.

Conséquences pour la recherche

Face à ces incohérences, les auteurs de la réplication ont sollicité Dan Ariely en octobre 2024 pour obtenir l’autorisation d’inclure un résumé de l’analyse des fichiers. Ariely a refusé, arguant que les fichiers pourraient ne pas être authentiques. En réponse, les chercheurs ont publié une analyse détaillée montrant que les données ont probablement été altérées. Les deux auteurs de l’étude originale ont demandé la rétractation de l’article à la revue, procédure toujours en cours. Cette affaire souligne l’importance d’un archivage transparent des jeux de données et d’une vérification indépendante, surtout pour des travaux cités plus de deux mille fois.