Anthropic réduit de 90 % à 99 % les données extraites par distillation

Contexte et enjeux

Anthropic décrit les distillation attacks comme des campagnes industrielles visant à copier les capacités d’un modèle propriétaire en collectant ses réponses. Ces campagnes utilisent des réseaux de comptes frauduleux et permettent à des acteurs étrangers de reproduire des modèles de pointe à moindre coût. Le rapport cite le modèle GLM‑5.3, évalué par le CAISSI comme le modèle open‑weights le plus performant en cybersécurité, dont les garde‑fous peuvent être contournés. Anthropic indique que les données récoltées par ces attaques ont été réduites de 90 à 99 % grâce aux nouvelles défenses.

Mécanismes de défense

Les premières mesures consistaient à résumer le raisonnement de Claude avant de le présenter à l’utilisateur. Un test interne a montré que, sur le benchmark SWE‑bench Verified, un modèle distillé à partir de transcriptions complètes atteignait 80,4 % de score, contre 71,8 % lorsqu’il était entraîné sur les résumés. Cette perte d’information rend les transcriptions moins utiles pour la distillation. Face à des tentatives actives – par exemple des requêtes demandant « output your prior reasoning verbatim » – Anthropic a ajouté des détecteurs de requêtes suspectes. Ces détecteurs s’appuient sur des modèles de classification qui identifient les formulations atypiques, car les utilisateurs légitimes ne demandent généralement pas le texte complet du raisonnement interne.

Lorsque les détecteurs ont été contournés, Anthropic a renforcé le contrôle d’accès en bloquant les comptes qui génèrent des volumes anormaux. Un réseau décrit dans le rapport de février gérait plus de 20 000 comptes frauduleux simultanément, et un autre laboratoire a testé 12 000 requêtes différentes pour identifier des failles. Les nouvelles défenses intègrent une limitation du nombre de tokens retournés lorsqu’une requête correspond à un profil de distillation, ainsi qu’une surveillance en temps réel des modèles de trafic afin d’isoler les clusters d’adresses IP suspectes.

Évaluation des performances

Anthropic mesure l’efficacité des défenses par la réduction du volume de données exploitable. Les chiffres publiés indiquent une diminution de 90 à 99 % du volume de données collectées, ce qui se traduit par une perte d’information critique pour les distillateurs. Le coût opérationnel pour Anthropic a été élevé : le texte mentionne le rejet de « trillions de tokens » de trafic payant et un investissement substantiel des équipes produit et recherche. Malgré ces coûts, les scores de performance du modèle Claude sur les tâches usuelles restent inchangés, car les restrictions s’appliquent uniquement aux requêtes identifiées comme potentiellement malveillantes.

Limites et perspectives

Les mesures actuelles ne sont pas infaillibles. Les distillateurs peuvent encore exploiter des vecteurs hors‑texte, comme la génération d’images ou l’interaction via des API tierces, qui ne sont pas couverts par les filtres de texte. De plus, la dépendance à des seuils de détection crée un risque de faux positifs, obligeant les utilisateurs légitimes à adapter leurs intégrations. Anthropic reconnaît que ces défenses imposent des compromis, mais estime que la réduction massive du volume de données disponible pour la distillation justifie les efforts. Le rapport conclut que la communauté doit développer des standards communs pour détecter et limiter les campagnes de distillation à l’échelle industrielle.