Introduction

Les injections de prompt ne sont pas un problème de modèle, mais plutôt un problème de validation des entrées. Les LLM (Large Language Models) ne séparent pas les instructions des données, il est donc essentiel de mettre en place une couche de sanitization pour prévenir les injections de prompt et les fuites de données personnelles.

Contexte Technique

La sanitization pré-LLM est la pratique de filtrer, valider et transformer les entrées utilisateur avant qu'elles n'atteignent le LLM. Cela permet de prévenir les injections de prompt et les fuites de données personnelles à la source. Les filtres basés sur les expressions régulières sont facilement contournables, il est donc nécessaire de mettre en place une analyse statique de code pour assurer une sécurité durable.

Les outils natifs pour l'IA peuvent détecter les entrées non sanitizées et les données personnelles dans les modèles de prompt avant leur déploiement. La plupart des échecs de sécurité des LLM ne proviennent pas du modèle lui-même, mais plutôt de la façon dont les entrées utilisateur sont traitées.

Analyse et Implications

Les injections de prompt sont une vulnérabilité de sécurité qui permet aux attaquants d'interpréter les entrées non fiables comme des instructions, ce qui peut entraîner des comportements système non souhaités. Selon les recherches de Lasso Security, 13% des prompts d'entreprise contiennent des données sensibles, telles que des informations personnelles, des informations d'identification et des contenus confidentiels.

La prévention des injections de prompt est essentielle pour les applications soumises à des réglementations telles que le RGPD, le HIPAA ou la PCI DSS. Une seule erreur de construction de modèle de prompt peut entraîner des violations de ces réglementations.

Perspective

Il est essentiel de surveiller les limites de la sanitization pré-LLM et de mettre en place des outils d'analyse de code pour détecter les patterns d'injection de prompt. Les filtres basés sur les expressions régulières ne sont pas suffisants pour assurer une sécurité durable. Il est nécessaire de mettre en place une approche en couches, comprenant la sanitization pré-LLM, l'isolement du contexte, le filtrage de récupération, les contrôles d'autorisation d'outil et la surveillance de la sortie.