Contexte et enjeux
Anthropic a publié un rapport détaillant cinq incidents où des scientifiques ont tenté d’utiliser Claude, son modèle de génération de texte, pour concevoir des expériences liées à des agents pathogènes. Les auteurs de ces tentatives provenaient de régions que la société classe comme « non supportées », notamment la Russie, la Chine et l’Iran, pays explicitement interdits d’accès aux modèles. L’entreprise indique que ces tentatives s’inscrivent dans une dynamique plus large de préoccupations concernant l’usage malveillant de l’IA dans la recherche de bioweapons, un risque que les autorités publiques et les acteurs du secteur évaluent de plus en plus comme critique.
Mécanismes de protection d'Anthropic
Anthropic intègre des filtres de sécurité au niveau du modèle, limitant les réponses aux requêtes jugées dangereuses. Selon le rapport, les filtres ont automatiquement redirigé les requêtes vers les versions les plus faibles de Claude, où les capacités de génération de protocoles détaillés sont restreintes. Cette architecture en couches repose sur un système de classification de texte qui identifie des mots‑clés et des schémas de questionnement associés à la biologie synthétique, puis applique des règles d’interdiction ou de réduction de la sortie. Le système de bannissement d’utilisateurs, déclenché lorsqu’une requête contourne les filtres, a conduit à la désactivation des comptes impliqués.
Contournements observés
Les cinq cas présentés montrent que les chercheurs ont employé plusieurs techniques d’obfuscation. Certains ont reformulé les questions en termes généraux (« comment cultiver un virus aviaire ») afin d’échapper à la détection de mots‑clés. D’autres ont fragmenté leurs requêtes en plusieurs étapes, chaque étape restant sous le seuil de sensibilité du filtre, puis ont recombiné les réponses hors‑ligne. Le rapport précise que, même lorsque les filtres ont limité les réponses, les modèles les plus faibles ont tout de même fourni des informations de base, comme des protocoles de culture cellulaire, qui peuvent être exploités comme point de départ pour des recherches plus avancées. Anthropic ne peut pas confirmer l’intention malveillante de chaque acteur, mais souligne que les mêmes données peuvent servir à développer des vaccins.
Implications et limites
Le partage de ces exemples vise à inciter l’industrie et les gouvernements à renforcer les cadres de gouvernance autour de l’IA. La capacité d’un modèle à générer du texte technique, même lorsqu’il est limité, montre que les filtres basés uniquement sur la détection de mots‑clés sont vulnérables aux stratégies de contournement linguistique. En outre, la décision d’Anthropic de ne pas divulguer les institutions ou les pays exacts limite la transparence, rendant difficile l’évaluation du périmètre réel du risque. Le rapport indique que les filtres ont été plus efficaces sur les modèles les plus puissants, suggérant que la réduction de capacité n’est pas une solution durable. Une approche plus robuste pourrait combiner la classification de texte avec des audits de logs, des restrictions d’accès réseau et une coopération inter‑entreprises pour partager les indicateurs de compromission. Sans ces mesures, les modèles de génération restent des outils potentiellement détournables pour la recherche de bioweapons.
