Présentation de HalluSquatting

Les attaques par injection de prompt sont devenues une menace majeure pour la sécurité des modèles de langage. Les grands modèles de langage ne peuvent pas faire la différence entre les instructions légitimes et les instructions malveillantes, ce qui les rend vulnérables aux attaques.

Fonctionnement de HalluSquatting

HalluSquatting est une attaque qui exploite la tendance des modèles de langage à « halluciner » les identificateurs de ressources hébergés dans les référentiels et les registres. Les assistants et les agents de codage, tels que Cursor, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw et NanoClaw, sont sensibles à cette attaque.

Les chercheurs ont constaté que ces assistants et agents accèdent régulièrement aux lignes de commande à privilèges élevés pour exécuter du code à partir de ressources tierces. En prédisant les identificateurs que les modèles de langage sont susceptibles de « halluciner » et en les enregistrant et en les chargeant avec des instructions pour installer des coquilles inverses ou d’autres logiciels malveillants, l’attaque peut infecter un grand nombre d’appareils sans avoir à cibler chacun.

Implications et limites

L’attaque HalluSquatting a le potentiel de créer des botnets massifs, d’effectuer des attaques DDoS à grande échelle et d’infecter des appareils à grande échelle. C’est une première pour les attaques par injection de prompt.

Les développeurs de moteurs d’IA sont confrontés à un défi important pour empêcher ces attaques, car il n’existe pas de moyen de faire respecter la limite cruciale entre les sources de confiance et les sources non fiables. Les chercheurs doivent continuer à élaborer des garde-fous pour atténuer les dommages, mais il est clair que la sécurité des modèles de langage reste un défi majeur.

Exemple de code

Les chercheurs ont fourni un exemple de code pour démontrer la vulnérabilité des assistants et agents de codage. Cependant, le code n’est pas fourni dans cet article.

Il est important de noter que les attaques par injection de prompt sont une menace croissante pour la sécurité des modèles de langage et que les développeurs et les chercheurs doivent continuer à travailler ensemble pour élaborer des solutions pour atténuer ces menaces.