Contexte et témoignages
Des serveuses, des rangers et des enseignants décrivent une hausse des demandes incohérentes provenant d'utilisateurs qui se fient à des réponses générées par des modèles de langage. Madison, serveuse dans un restaurant italien recommandé par le guide Michelin, signale que des clients insistent pour suivre les recommandations de ChatGPT même lorsqu’elles contredisent des allergies réelles. Elle cite des cas où le modèle affirme l'absence de crustacés dans un plat contenant pourtant du bouillon de crustacés. Des visiteurs de parcs nationaux reçoivent des itinéraires de camping inventés, et des parents appliquent des routines de sommeil proposées par Claude ou ChatGPT malgré des contradictions avec les besoins physiologiques de leurs enfants.
Mécanismes des hallucinations d'IA
Les modèles génératifs produisent du texte en maximisant la probabilité statistique des séquences de tokens, sans accès direct à une source de vérité. L'absence de récupération d'information en temps réel conduit à des « hallucinations » : le système invente des faits qui semblent plausibles. Cette faiblesse se manifeste lorsqu’un LLM est interrogé sur des données factuelles (allergènes, listes de vins, emplacements géographiques) qui ne sont pas encodées dans son corpus d’entraînement ou qui ont évolué depuis la dernière mise à jour du modèle. Le lancement de Muse, l’agent IA de Meta, illustre la tendance à déployer des assistants conversationnels sans mécanismes de vérification intégrés, augmentant le risque d’erreurs non détectées.
Conséquences pour le service client
Les travailleurs du secteur de l’accueil doivent désormais gérer deux sources d’information contradictoires. Au lieu de corriger directement l’erreur, ils masquent souvent la vérité (« nous n’avons pas ce vin », « cette liste est hyper‑spécifique ») pour éviter un conflit avec le client qui considère le chatbot comme une autorité. Cette dynamique crée une charge cognitive supplémentaire, renforce le sentiment d’injustice chez les employés et peut entraîner des risques sanitaires, comme l’exposition à des allergènes. Dans les espaces publics, les hallucinations d’itinéraires peuvent conduire à des déplacements inefficaces ou à des situations dangereuses si les usagers ignorent les indications officielles.
Perspectives et limites
Les solutions techniques proposées incluent l’intégration de moteurs de recherche en temps réel, la vérification par des bases de données spécialisées et le recours à des modèles « grounded ». Cependant, la mise en œuvre de ces mécanismes nécessite des investissements en infrastructure et une adaptation des flux de travail. Le manque de données chiffrées dans les rapports empêche d’évaluer précisément l’ampleur du phénomène, ce qui complique la définition de politiques de mitigation. En l’état, la responsabilité repose largement sur les opérateurs humains qui doivent continuellement valider les réponses de l’IA, un processus qui ne peut être automatisé sans sacrifier la fiabilité.
