Contexte et problème de refus par sujet

Les déploiements réels de grands modèles de langage (LLM) utilisent souvent le même modèle de base pour des usages très différents – assistant général, produit éducatif, système d’entreprise ou service public. Chaque contexte impose des limites distinctes au sein d’un même sujet. Dans le domaine politique, un tuteur civique doit répondre à des questions factuelles sur les élections, alors qu’un assistant public doit refuser les requêtes visant à manipuler l’opinion. Les garde‑fous classiques, comme LlamaGuard‑3, classifient tout le sujet « élections » comme « information factuellement incorrecte », ce qui exclut à la fois la persuasion dangereuse et les requêtes factuelles légitimes. Le papier Safety for Whom? Boundary‑Aware Self‑Distillation for Controlled LLM Safety Refusal propose de cibler le sous‑ensemble réellement nuisible plutôt que le sujet entier.

Méthodologie : self‑distillation à frontière et composantes de données

Les auteurs formalisent un univers de sujet (tous les prompts politiques) contenant un sous‑ensemble cible à refuser. L’objectif idéal est une fonction en escalier : refus à l’intérieur du sous‑ensemble, réponse ailleurs. La self‑distillation à frontière consiste à générer, à partir du modèle cible, des paires de prompts partageant le même ancrage thématique mais différant uniquement par l’intention (refus vs réponse). Trois leviers de données sont introduits :

1. Réparation de couverture : un unique essai de génération échoue pour 19,88 % des prompts (8 009 exemples). En appliquant une stratégie de ré‑essai progressif, le taux d’échec chute à 0,20 % (79 prompts), conservant ainsi 40 293 prompts nuisibles qui auraient été perdus.

2. Données bénignes en‑distribution : 11 955 prompts bénins, jugés « danger superficiel », sont répartis sur 18 types sémantiques afin que le modèle apprenne à distinguer forme dangereuse et contenu légitime.

3. Paires frontière : 1 539 paires de prompts (harmful‑benign) permettent de mesurer directement la forme de la frontière, évitant que l’amélioration du taux de refus ne se traduise simplement par une expansion indésirable du refus.

Résultats quantitatifs et analyse des compromis

Sur le modèle Qwen3‑8B, le réglage avec couverture escaladée augmente le taux de refus politique en‑distribution de 9,47 % à 84,75 %. Cette amélioration se traduit également par une réduction du taux de réponses dangereuses sur trois benchmarks (HarmBench, StrongREJECT, WildJailbreak) évalués par LlamaGuard‑3, passant de 26,26 % à 0,14 %. Cependant, le même checkpoint montre une hausse du sur‑refus sur le test XSTest, de 2,00 % à 74,00 %, indiquant que le modèle refuse la majorité des prompts sûrs.

L’ajout des données bénignes de frontière ramène le sur‑refus sur les paires tenues‑à‑part de 32,94 % à 4,16 %, tandis que le taux de refus sur le côté nuisible chute légèrement de 91,88 % à 87,72 %. Ainsi, la plupart des faux‑refus disparaissent sans sacrifier les refus légitimes, démontrant un compromis mesurable et contrôlable.

Implications pour le tuning de sécurité

Ces résultats soulignent que le taux de refus sur les prompts nuisibles ne suffit pas à évaluer la sécurité d’un LLM. La composition du jeu de données, la réparation de couverture et les paires frontière sont essentielles pour positionner le modèle dans l’espace sécurité / utilisabilité. Un réglage qui maximise le refus augmente le risque d’inutilité pour les utilisateurs légitimes, surtout lorsque la frontière entre manipulation et information factuelle est fine. Les pratiques proposées – génération auto‑supervisée, ré‑essais progressifs et inclusion de prompts bénins à forme dangereuse – offrent une feuille de route pour concevoir des garde‑fous qui refusent précisément les comportements indésirables tout en préservant la capacité de réponse sur les requêtes admissibles.