Contexte de l’audit
Nous avons interrogé les deux modèles de recherche de Perplexity (sonar et sonar‑pro) avec 310 questions factuelles portant sur 210 entreprises technologiques. Chaque réponse était découpée en phrases, chaque phrase contenant un chiffre était associée à un marqueur de citation
[n]Méthodologie de vérification
Chaque URL unique (2 915 pour sonar) a été récupérée et classée comme dead, gated, empty, unreachable ou live. Un second et un troisième passage (timeout prolongé, proxy rotatif) ont permis de récupérer 192 URL initialement bloquées. Pour chaque paire phrase‑URL, nous avons extrait les séquences numériques (montants, pourcentages, années, etc.) et vérifié leur présence textuelle dans la page, en normalisant les formats (ex. $185 M = 185 000 000).
Résultats quantitatifs
Sur les 1 826 citations liées à un chiffre, 34,7 % pointaient vers une page qui ne s’ouvrait pas ou qui ne contenait aucun des nombres cités. Au niveau des 872 affirmations contenant un chiffre, 14,4 % échouaient lorsqu’on considérait la réussite d’une affirmation dès qu’une des URLs associées était correcte.
Les liens morts ne représentent que 1,3 % du total, mais les pages gated (requérant un abonnement ou un login) constituent ≈ 16,7 % des citations. En agrégant par réponse, 84,2 % des réponses de sonar citent au moins une URL inaccessible à un lecteur ordinaire, et 10,6 % contiennent au moins une URL réellement morte.
Par type de question, les taux de réussite varient fortement : les effectifs et les années de création (données structurées) dépassent les 80 % de correspondance, alors que les adresses de bureaux ou les dates de prise de fonction d’un CEO restent en dessous de 30 %.
Analyse technique et limites
Le faible taux de dead links indique que le problème principal n’est pas la pérennité des URLs mais la pertinence de la source. Les pages gated, souvent issues de bases de données commerciales (PitchBook, Crunchbase, Reuters), sont techniquement valides mais empêche le lecteur de vérifier l’affirmation, ce qui contredit le rôle même d’une citation.
Lorsque la page s’ouvre mais ne mentionne aucun chiffre, deux scénarios se dégagent : soit le modèle a généré le nombre à partir d’une connaissance interne (ex. prix $20 / mois) et a tout de même attaché une URL non pertinente, soit il a reproduit un consensus (adresse postale) sans source explicite, en citant par défaut Wikipedia. Cette pratique crée une fausse impression de vérifiabilité et expose le système à des risques de désinformation.
Les modèles premium (sonar‑pro) n’affichent pas de différence statistiquement significative par rapport à la version standard : les taux de réussite sont respectivement 64,7 % et 65,9 % pour les paires chiffre‑page, avec des intervalles de confiance qui se chevauchent. Le nombre moyen de sources par réponse reste quasi identique (9,8 vs 9,7).
En conclusion, l’audit montre que la majorité des citations de Perplexity ne remplissent pas leur fonction de traçabilité. Pour améliorer la fiabilité, il faudrait intégrer un filtre de pertinence qui ne lie une URL que si le texte récupéré contient explicitement le chiffre cité, et offrir une alternative lorsqu’une source est gated ou inaccessible.
