Présentation de GPT-Red

OpenAI a dévoilé GPT-Red, un système d'intelligence artificielle interne conçu pour attaquer ses propres modèles et détecter les vulnérabilités d'injection de requêtes avant qu'elles n'atteignent les utilisateurs.

GPT-Red utilise une approche de renforcement d'apprentissage par auto-jeu, où il agit en tant qu'attaquant contre des modèles défenseurs dans divers scénarios, gagnant des récompenses pour les exploits réussis tandis que les défenseurs sont récompensés pour leur solidité et leur capacité à terminer leurs tâches.

Fonctionnement de GPT-Red

GPT-Red fonctionne en lançant des requêtes contre un modèle cible et en analysant les réponses. Il ajuste ensuite ses attaques en fonction des résultats, en éliminant les attaques qui échouent et en renforçant celles qui réussissent.

Exemple de code : GPT-Red utilise une boucle de renforcement d'apprentissage pour améliorer ses attaques

Les résultats montrent que GPT-Red réussit dans 84% des scénarios, contre 13% pour les équipes de sécurité humaines. Il réduit également les échecs d'injection de requêtes directs à un sixième du taux de son meilleur modèle de production il y a quatre mois.

Implications et limites

GPT-Red a également réussi à compromettre des agents autonomes, tels que des agents de machines à vendre et des agents de codage en ligne de commande. Cependant, il a des limites, notamment une faible efficacité contre les attaques conversationnelles multi-tours et les injections de requêtes basées sur des images.

OpenAI a décidé de garder GPT-Red interne et de ne pas le rendre public, afin de prévenir les attaques potentielles contre ses modèles. Les résultats de GPT-Red sont intégrés dans la formation de ses modèles pour améliorer leur sécurité.