Contexte et principe du watermarking
Face à la nouvelle législation européenne, les fournisseurs d’IA intègrent des filigranes de provenance pour identifier les textes générés. Anthropic a annoncé que ses prochains modèles Claude utiliseront SynthID‑Text, une technique développée par Google et rendue open source. Le filigrane repose sur une clé secrète qui perturbe légèrement le processus de sélection du token suivant, rendant chaque séquence détectable par ceux qui connaissent la clé.
Mécanisme de tournament sampling
SynthID‑Text remplace le générateur aléatoire habituel par un sampler à tournoi. Le modèle génère d’abord un large ensemble de candidats token, chaque token reçoit un score caché calculé à partir de la clé. Deux tokens s’affrontent, le gagnant progresse, et le processus se répète jusqu’à ce qu’un token final soit choisi. Cette procédure conserve une apparence aléatoire pour le lecteur, mais introduit un biais systématique exploitable pour la détection.
Impact sur les réponses dangereuses
Andrea Siposova (Lasso Security) a testé six modèles à poids ouvert via le SynthIDTextWatermarkLogitsProcessor de Hugging Face. En soumettant des prompts malveillants, elle a comparé les réponses avec et sans filigrane. Les résultats montrent que le watermarking modifie le taux de refus des modèles, surtout lorsqu’un prompt‑injection est utilisé. Certains modèles, qui refusaient systématiquement une demande de divulgation de mot de passe, ont commencé à y répondre sous l’effet du filigrane. Le phénomène, qualifié de « sampling drift », affecte également les appels d’outils d’un agent : le même token modifié peut déclencher un appel de fonction erroné ou modifier les arguments transmis.
Variabilité selon la clé et limites de l’étude
Le comportement n’est pas uniforme selon la clé employée. En faisant varier aléatoirement la clé, les chercheurs ont observé des points situés tant à droite (augmentation de la conformité aux requêtes dangereuses) qu’à gauche (réduction) du zéro. La clé utilisée dans l’expérience principale était représentée par un diamant noir, tandis que dix clés supplémentaires étaient affichées en orange. Cette dispersion indique que la sécurité du système dépend fortement du secret de la clé et que certaines clés peuvent accentuer les risques. L’étude se limite à six modèles open‑source et à des prompts d’injection spécifiques ; les effets sur des modèles propriétaires ou sur d’autres types de tâches restent à explorer.
