Présentation
Un modèle d'IA open-weight chinois, GLM-5.2, développé par Z.ai, a réduit l'écart avec les leaders de l'industrie, tels que OpenAI et Anthropic, en termes de capacités cybernétiques et biologiques. Cependant, le fossé entre les capacités de pointe et les pratiques de sécurité s'élargit.
Contexte technique
Le modèle GLM-5.2 a été évalué par l'organisme à but non lucratif SaferAI, qui a constaté que le modèle refusait aucun des tâches offensives de cybersécurité ou de biologie qu'on lui a présentées. En revanche, le modèle Claude Opus 4.7 d'Anthropic a refusé systématiquement ces tâches. Cette différence met en évidence les risques liés aux modèles d'IA open-weight, qui peuvent être utilisés par des attaquants potentiels sans contrôle.
Implications et limites
Les développeurs de modèles d'IA de pointe, tels que OpenAI et Anthropic, utilisent des mesures de sécurité telles que des classificateurs, des refus de formation et des contrôles au niveau de l'API pour limiter les capacités dangereuses. Cependant, ces mesures ne sont pas infaillibles et peuvent être contournées par des attaquants. Les modèles d'IA open-weight, quant à eux, sont conçus pour fonctionner sur n'importe quelle infrastructure, avec ou sans mesures de sécurité.
Analyses scientifiques
Henry Papadatos, directeur exécutif de SaferAI, souligne que la frontière des capacités n'est pas la même que la frontière des risques et que les mesures d'atténuation doivent être prises en compte pour évaluer les risques de manière appropriée. Il propose des techniques telles que le filtrage des données de pré-entraînement pour réduire les connaissances biologiques dangereuses sans nuire aux performances globales du modèle.
