Introduction
Les utilisateurs de Google sont désormais confrontés à AI Overviews, un robot de recherche alimenté par Gemini qui apparaît en haut des pages de résultats. Depuis son lancement en 2024, AI Overviews a connu des problèmes d'exactitude, mais il s'améliore et fournit généralement la bonne réponse.
Contexte Technique
Une nouvelle analyse menée par The New York Times avec l'aide de la startup Oumi a évalué l'exactitude d'AI Overviews. Les résultats montrent que celui-ci est exact dans 90 % des cas, mais que 1 réponse sur 10 est incorrecte. Pour Google, cela signifie des centaines de milliers de fausses informations diffusées chaque minute. L'analyse a été réalisée à l'aide de l'outil SimpleQA, un test standard pour évaluer la factualité des modèles de génération de langage comme Gemini.
Analyse et Implications
Les tests ont montré que AI Overviews a atteint un taux d'exactitude de 91 % après la mise à jour de Gemini 3, contre 85 % avec la version précédente. Cependant, si l'on extrapole ce taux d'erreur à toutes les recherches Google, AI Overviews génère des dizaines de millions de réponses incorrectes par jour. Des exemples concrets montrent les erreurs commises par AI Overviews, comme la date incorrecte de transformation de la maison de Bob Marley en musée ou la négation de l'existence du Classical Music Hall of Fame.
Perspective
Il est essentiel de surveiller les performances d'AI Overviews et de comprendre les limites de la technologie actuelle. Les prochaines étapes pour améliorer l'exactitude d'AI Overviews pourraient inclure des mises à jour régulières des modèles de langage et une meilleure évaluation des sources d'information. Cela permettrait de réduire le nombre de fausses informations diffusées et d'accroître la confiance des utilisateurs dans les résultats de recherche de Google.
