Introduction

L'empoisonnement de documents dans les systèmes RAG (Retrieve, Augment, Generate) est une attaque qui permet aux agresseurs de corrompre les sources d'information de l'IA. Cette attaque consiste à insérer des documents falsifiés dans la base de connaissances, ce qui peut entraîner des réponses incorrectes de la part de l'IA.

Contexte Technique

Les systèmes RAG utilisent une base de connaissances pour générer des réponses à des questions. L'empoisonnement de documents peut se produire lorsque des documents falsifiés sont insérés dans cette base de connaissances. Ces documents peuvent être conçus pour satisfaire deux conditions : la condition de récupération, qui consiste à avoir une similarité cosinus élevée avec la requête cible, et la condition de génération, qui consiste à causer la production de la réponse désirée par l'IA.

La méthode de vocabulary-engineering peut être utilisée pour créer des documents empoisonnés qui satisfont à ces conditions. Cette méthode consiste à utiliser des termes spécifiques pour augmenter la similarité cosinus avec les requêtes cibles et à utiliser un langage d'autorité pour influencer la façon dont l'IA pondère les sources.

Analyse et Implications

L'empoisonnement de documents peut avoir des implications importantes pour la sécurité des systèmes RAG. Les attaques peuvent être difficiles à détecter, car les documents empoisonnés peuvent être conçus pour ressembler à des documents légitimes. De plus, les attaques peuvent être persistantes, car les documents empoisonnés peuvent rester dans la base de connaissances jusqu'à ce qu'ils soient manuellement supprimés.

Les défenses contre ces attaques peuvent inclure la détection d'anomalies dans les embeddings, la vérification de la cohérence des réponses et la limitation de l'accès à la base de connaissances. Cependant, ces défenses peuvent ne pas être suffisantes pour empêcher toutes les attaques.

Perspective

Il est important de surveiller les développements dans le domaine de la sécurité des systèmes RAG, car les attaques d'empoisonnement de documents peuvent avoir des implications importantes pour la confiance dans les systèmes d'IA. Les chercheurs et les praticiens doivent continuer à développer de nouvelles défenses et à améliorer les méthodes de détection pour protéger les systèmes RAG contre ces attaques.