Introduction

Microsoft a récemment corrigé une vulnérabilité critique dans sa plateforme M365 Copilot IA, qui permettait aux hackers d'obtenir des codes d'authentification à 2 facteurs et d'autres données sensibles à partir d'e-mails accessibles à Copilot.

Contexte Technique

Les fournisseurs de solutions IA, tels que Microsoft, sont confrontés à un problème de sécurité majeur : les bots IA sont incapables de distinguer les instructions légitimes des utilisateurs de celles qui sont insérées dans le contenu tiers que les modèles résument, rédigent ou utilisent pour effectuer d'autres actions au nom de l'utilisateur. Cette vulnérabilité est due à l'incapacité des bots IA à établir une frontière sécurisée entre les instructions légitimes et les contenus malveillants.

Les hackers ont développé des méthodes pour contourner les garde-fous mis en place par Microsoft et d'autres fournisseurs de solutions IA. L'une de ces méthodes consiste à utiliser le langage de balisage pour ajouter des éléments de formatage tels que des titres, des listes et des liens au texte sans utiliser de balises HTML. Une autre méthode consiste à encapsuler les données sensibles dans des balises HTML telles que et .

Analyse et Implications

La firme de sécurité Varonis a élaboré une chaîne d'exploitation qui a permis de franchir les garde-fous de sécurité de Copilot. La première étape consistait en une injection de paramètre dans la requête, qui a permis d'insérer une commande malveillante dans l'URL. Cette vulnérabilité est une variante de l'injection de prompt, mais avec la différence que la commande malveillante est située dans le paramètre de requête plutôt que dans un e-mail ou un autre contenu non fiable.

Perspective

Il est essentiel de surveiller les limites de la sécurité des solutions IA et de développer des méthodes pour prévenir les attaques de ce type. Les fournisseurs de solutions IA doivent continuer à améliorer leurs garde-fous de sécurité et à sensibiliser les utilisateurs aux risques potentiels liés à l'utilisation de ces technologies.