Contexte de l’incident

Un analyste du U.S. Special Operations Command a soumis un rapport d’intelligence qui affirmait que le navire chinois Qinghua transportait des pièces d’un programme nucléaire à travers le Moyen‑Orient. Le rapport, généré à l’aide d’un chatbot d’intelligence artificielle, a déclenché la préparation d’une opération d’interception aérienne et de mise à l’arrêt du navire. Avant que l’ordre ne soit exécuté, des sources internes ont découvert que le chatbot avait mal identifié le cargo, qualifiant l’information de « entièrement fausse ». Cette hallucination a été décrite par des témoins comme un « presque déclencheur de guerre ».

Fonctionnement du chatbot et limites techniques

Le chatbot utilisé « fusionnait des renseignements open‑source avec des données de signaux secrets stockées dans les systèmes gouvernementaux ». Cette approche hybride repose sur des modèles de langage large (LLM) entraînés sur des corpus mixtes, mais les LLM conservent une propension à « halluciner » lorsqu’ils rencontrent des lacunes de données ou des contradictions. Dans ce cas, l’absence de références explicites aux codes de classification du matériel a conduit le modèle à « inventer » la présence d’éléments nucléaires. Les chercheurs soulignent que même avec des invites « do not hallucinate », il est difficile d’éliminer complètement ce phénomène, car les poids du modèle ne garantissent pas la véracité factuelle.

Implications pour la chaîne de commandement et la politique DoD

Le Department of Defense a lancé en janvier 2024 une « AI acceleration strategy » visant à rendre toutes les données appropriées accessibles aux systèmes d’IA fédérés. Le même organisme a déployé la plateforme GenAI.mil, initialement basée sur Google Gemini for Government, puis enrichie de Grok for Government et d’une version personnalisée de Claude d’Anthropic. En juin, un représentant du Pentagone a indiqué que 1,5 million de personnel actif utilisaient ces outils génératifs. Malgré ces déploiements, le rapport de 2023 du State Department sur l’usage responsable de l’IA militaire insiste sur la présence d’un human in the loop et d’une chaîne de commandement clairement définie. L’incident montre que la simple disponibilité de l’IA ne suffit pas à garantir la fiabilité des décisions tactiques.

Leçons et mesures correctives

Les experts recommandent plusieurs garde‑fous : validation croisée par des analystes humains, audit des modèles avant chaque utilisation opérationnelle, et limitation de l’accès aux modèles capables de combiner OSINT et SIGINT sans supervision. Le Pentagone a déjà sanctionné Anthropic en mars 2026 pour son opposition à l’usage de ses modèles dans des systèmes d’armes autonomes, décision jugée « illégale » par un tribunal fédéral. Cette affaire souligne la nécessité d’un cadre juridique et technique robuste pour prévenir que des hallucinations d’IA ne se traduisent par des actions militaires imprévues.