Présentation
OpenAI décrit une série de mesures destinées à contrer l'adversarial distillation, technique qui permet à un acteur malveillant d’entraîner un modèle « étudiant » à partir des sorties d’un modèle « enseignant » sans hériter de ses garde‑fous. Le problème est illustré par la possible extraction de capacités cybernétiques ou biologiques, où le modèle étudiant pourrait assister à des attaques que le modèle original refuserait.
Fonctionnement de l'adversarial distillation
Dans le cadre d’un teacher‑student classique, le modèle enseignant génère des trajectoires comprenant réponses finales, résumés de raisonnement et interactions d’outils. OpenAI a comparé deux variantes d’étudiants : l’un entraîné sur les résumés de raisonnement et l’autre sur les traces exactes du chain‑of‑thought. Après un fine‑tuning supervisé, l’étudiant utilisant les traces exactes a surpassé celui utilisant les résumés. Un second cycle de renforcement (RL) a confirmé cet écart, surtout à des budgets d’inférence élevés, montrant que les traces détaillées transmettent des compétences qui se généralisent au‑delà des tâches d’origine.
Mesures de protection d'OpenAI
OpenAI a intégré quatre niveaux de défense :
1. Niveau de requête : modèles, classificateurs d’entrée et contrôles API détectent et bloquent les tentatives d’extraction de chain‑of‑thought. Les classificateurs d‑sortie surveillent les fuites dans les réponses et les arguments d’appels d’outils, y compris en mode streaming.
2. Niveau de campagne : analyse des signaux agrégés (requêtes, comptes) pour identifier des campagnes coordonnées d’extraction. Chaque attaque détectée alimente le jeu d’entraînement des classificateurs.
3. Entraînement adversarial : le modèle apprend à refuser les demandes d’accès aux raisonnements protégés tout en continuant à fournir des explications légitimes.
4. Protection API transversale : restrictions appliquées entre utilisateurs, espaces de travail, organisations et familles de modèles, fermant notamment la voie décrite en septembre où un raisonnement chiffré était déplacé d’une conversation à une autre.
Analyse des résultats et limites
Un test interne automatisé a mesuré le taux de succès d’une attaque de récupération de raisonnement protégé : 54,0 % contre le modèle GPT‑6 Astra initial, contre 0,2 % après l’ajout des nouvelles protections dans GPT‑6.2 Astra. Cette réduction de plus de deux ordres de grandeur confirme l’efficacité des classificateurs et de l’entraînement adversarial. Cependant, l’étude reste limitée à des scénarios de cybersécurité et de codage, avec des modèles de taille et de domaine spécifiques. La généralisation à d’autres domaines (biologie, génération de texte libre) n’est pas démontrée, et le coût computationnel du suivi des traces exactes peut impacter les performances en production. Enfin, la dépendance à des signaux agrégés pour détecter les campagnes implique un risque de faux positifs qui pourrait restreindre des usages légitimes.