Introduction
Les modèles de langage conversationnels sont affinés pour suivre les instructions et assurer la sécurité, ce qui aboutit à des modèles qui obéissent aux requêtes inoffensives mais refusent celles qui sont nuisibles. Cependant, les mécanismes sous-jacents de ce comportement de refus restent mal compris.
Contexte Technique
Les recherches ont montré que le refus est médié par un sous-espace unidimensionnel, à travers 13 modèles de chat open-source populaires allant jusqu'à 72 milliards de paramètres. Plus précisément, pour chaque modèle, il existe une direction unique telle que l'effacement de cette direction des activations du flux résiduel du modèle empêche celui-ci de refuser les instructions nuisibles, tandis que l'ajout de cette direction déclenche le refus même pour des instructions inoffensives.
Analyse et Implications
Cette découverte permet de proposer une nouvelle méthode de jailbreak en boîte blanche qui désactive chirurgicalement le refus avec un effet minimal sur les autres capacités. De plus, l'analyse mécaniste de la façon dont les suffixes adverses suppriment la propagation de la direction qui médie le refus met en évidence la fragilité des méthodes actuelles d'affinage de la sécurité. Les résultats soulignent l'importance de comprendre les mécanismes internes des modèles pour développer des méthodes pratiques de contrôle du comportement des modèles.
Perspective
Il est essentiel de surveiller les limites et les prochaines étapes dans la recherche sur les modèles de langage, en particulier en ce qui concerne la sécurité et le contrôle du comportement. Les futures recherches devraient se concentrer sur le développement de méthodes plus robustes pour affiner la sécurité et améliorer la compréhension des mécanismes internes des modèles de langage.
