Une enquête menée par Trakkr a évalué la traçabilité des chiffres cités par cinq assistants conversationnels (ChatGPT, Perplexity, Gemini, Claude et Google AI Overviews). En interrogeant chaque IA avec 200 questions demandant un pourcentage ou un nombre, les chercheurs ont suivi chaque citation jusqu’à cinq niveaux de profondeur afin de déterminer si une étude académique ou un sondage sous‑jacent était réellement disponible.

Méthodologie

Le protocole a consisté à sélectionner aléatoirement 1 285 statistiques parmi celles fournies par les assistants (ChatGPT : 108, Perplexity : 277, Gemini : 300, Claude : 300, Google AI Overviews : 300). Chaque chaîne de références a été parcourue jusqu’à la page source, puis jusqu’à la source de cette page, etc., jusqu’à cinq clics. Un modèle d’IA a d’abord jugé la présence d’une étude; 300 chemins ont ensuite été revus par un modèle plus puissant, et 150 ont été contrôlés manuellement, avec un contrôle supplémentaire lorsqu’il y avait désaccord. Les taux finaux intègrent ces vérifications humaines.

Résultats chiffrés

Quarante pour cent (40 %) des statistiques ont conduit à une étude confirmant le chiffre présenté. Un supplémentaire 8 % ont mené à une étude, mais le nombre ou le contexte avait été modifié en cours de chaîne, ce qui rend la correspondance partielle. Les 40 % restants se sont arrêtés sur une source inaccessible, disparue ou silencieuse quant au chiffre, tandis que 11 % n’ont abouti à aucune source identifiable. Ainsi, plus de la moitié des réponses (51 %) ne reposent pas sur une documentation vérifiable.

Analyse des limites

Le processus de suivi dépend fortement de la disponibilité en ligne des documents cités ; les pages verrouillées ou retirées sont comptabilisées comme « source non vérifiable ». De plus, la décision du modèle d’IA quant à la présence d’une étude peut introduire un biais, même si les contrôles humains ont corrigé 23 % des cas où le modèle avait manqué une source. Enfin, l’échantillonnage limité à 200 questions par assistant ne reflète pas nécessairement l’ensemble des interactions utilisateurs.

Implications pour la confiance en IA

Ces chiffres suggèrent que les assistants génératifs reproduisent fréquemment des « zombie stats », c’est‑à‑dire des chiffres circulant sans fondement empirique. La convergence des cinq IA sur le même chiffre (ex. 44 % de vendeurs abandonnant après un seul suivi) montre que le problème n’est pas isolé à un modèle. Pour les développeurs d’applications IA, il apparaît indispensable d’intégrer des mécanismes de vérification des sources ou de signaler explicitement l’incertitude lorsqu’aucune étude ne peut être identifiée.