Anthropic soutient que le filigrane texte ne dégrade pas la qualité

Contexte et exigences réglementaires

Le EU AI Act a introduit des directives de transparence qui obligent les fournisseurs d’IA à identifier leurs productions textuelles. En réponse, la plupart des grands laboratoires d’IA ont annoncé l’intégration de filigranes invisibles dans les sorties générées. Cette contrainte légale constitue le point de départ du débat sur l’éventuelle perte de qualité liée à ces mécanismes.

Mécanisme du filigrane SynthID‑Text

Anthropic fonde son implémentation sur le papier SynthID‑Text publié dans Nature en 2024. Le protocole modifie la sélection du token suivant en fonction d’une petite fenêtre glissante et d’une clé secrète, de façon à laisser une empreinte détectable sans altérer le texte apparent. Le document annexe de 56 pages précise un « trade‑off diversité/détectabilité » : la garantie d’absence de distorsion sur une séquence unique ne s’étend pas forcément à la diversité entre plusieurs réponses à la même invite.

Évaluation de l’impact sur la diversité des réponses

Anthropic affirme que le filigrane « n’impacte pas la qualité de Claude ». Cette conclusion repose sur des évaluations humaines de réponses isolées. En pratique, les utilisateurs interagissent via des dialogues itératifs, générant plusieurs réponses à un même prompt. Le supplément indique que les réponses filigranées présentent une similarité accrue entre elles. Un test réalisé par le consultant technique Natzir Turrado, reproduisant SynthID‑Text sur un modèle ouvert, illustre ce phénomène : sur cinq requêtes identiques demandant une description de voyage, quatre réponses filigranées ont commencé par la même formule « My heart still sings/dances when I think back to my trip to the quaint coastal town of… », alors que le modèle non filigrané a varié l’introduction dans trois cas. Cette réduction de la inter‑response diversity peut affecter les tâches créatives où la variété est un critère de qualité.

Limites et perspectives

Le papier SynthID‑Text ne propose pas d’évaluation humaine de la perte de diversité, ce qui laisse un vide méthodologique. Sans mesures de corrélation entre la similarité accrue et la perception de qualité, la revendication d’absence d’impact reste partielle. De plus, le mécanisme agit sur de courts contextes tokenisés ; chaque occurrence d’une séquence courte identique (par exemple « I don’t like the ending… ») augmente la probabilité de reproduire le même filigrane, renforçant la prévisibilité. Cette dynamique compromet les stratégies de consensus, où les utilisateurs répètent un prompt pour identifier la réponse la plus fiable : les réponses convergentes peuvent refléter le biais du filigrane plutôt qu’une vraie confiance du modèle. En conclusion, le filigrane texte préserve la lisibilité d’une réponse individuelle, mais introduit une contrainte sur la variété globale, ce qui se traduit par une perte de qualité dans les scénarios de génération multiple. Une validation humaine ciblée sur la diversité inter‑réponses serait nécessaire pour quantifier précisément cet effet et ajuster le compromis entre détectabilité et créativité.