GLM 5.2 surpasse Claude dans les benchmarks de cybersécurité

Introduction

Récemment, nous avons mené une expérience pour évaluer les performances de différents modèles d'IA dans la détection de vulnérabilités de sécurité, notamment les références d'objets directes non sécurisées (Insecure Direct Object References, IDOR). Les résultats ont montré que le modèle GLM 5.2, développé par Zhipu AI, a surpassé le modèle Claude Code dans cette tâche, avec un score F1 de 39% contre 32% pour Claude Code, à un coût significativement inférieur.

Contexte Technique

Le modèle GLM 5.2 est un modèle à poids ouverts, ce qui signifie que ses paramètres sont publiés sous licence MIT, permettant ainsi aux utilisateurs de les télécharger, de les exécuter sur leur propre matériel, de les affiner et de les inspecter. Il s'agit d'un modèle Mixture-of-Experts (MoE) avec environ 750 milliards de paramètres au total, mais seulement environ 40 milliards de paramètres actifs par jeton, ce qui réduit les coûts d'inférence par rapport à sa taille. GLM 5.2 étend le contexte utilisable de 200 000 à 1 million de jetons, ce qui est important pour les tâches de sécurité qui nécessitent de raisonner sur différents fichiers et cadres d'autorisation.

Analyse et Implications

L'expérience a également mis en évidence l'importance du harnais (harness) dans lequel les modèles sont exécutés. Le harnais de Semgrep, conçu pour l'analyse statique, a permis au modèle de détecter les vulnérabilités avec un score F1 compris entre 53% et 61%, surpassant ainsi les performances des modèles exécutés sans harnais spécialisé. Cela souligne que la performance de détection des vulnérabilités provient à la fois du modèle lui-même et du harnais qui le soutient.

Perspective

Les résultats de cette expérience sont prometteurs pour l'utilisation de modèles d'IA dans la détection de vulnérabilités de sécurité. Cependant, il est important de considérer les limites de ces modèles, notamment leur capacité à être trompés ou à comporter des comportements indésirables. La transparence sur les mécanismes de fonctionnement et les données d'entraînement de ces modèles est essentielle pour renforcer la confiance dans leur utilisation. De plus, l'évolution des modèles et des harnais devra continuer à suivre les besoins de sécurité émergents et les menaces en constante évolution.