Présentation du benchmark

CWE‑bench v2, publié par Collinear AI, propose un jeu public de 100 tâches couvrant 91 CWEs différents. Chaque tâche consiste à récupérer un dépôt open‑source réel, à recevoir une instruction concise et à identifier puis corriger une faiblesse de sécurité sans altérer la fonctionnalité existante. Le processus d’évaluation est entièrement programmatique, garantissant des scores déterministes et reproductibles sans frais supplémentaires.

Architecture et mécanisme d’évaluation

Les tâches sont empaquetées sous forme de Harbor tasks : un environnement Docker, une instruction et un vérificateur déterministe. Le jeu inclut un fichier registry.json qui décrit chaque scénario, permettant à Harbor de lancer le benchmark directement depuis le dépôt Hugging Face. Le lancement s’effectue avec la commande suivante :

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

Le paramètre -k 4 exécute quatre tentatives par tâche, le score final étant la moyenne des 400 essais. L’accès au dataset requiert l’acceptation des conditions d’utilisation et l’authentification HF, par exemple :

hf auth login --token $HF_TOKEN --add-to-git-credential

Les vérificateurs sont conçus pour valider le comportement corrigé sans imposer une structure de correctif précise, et ils rejettent les solutions mémorisées provenant de correctifs upstream connus. Chaque tâche a été revue manuellement et validée par des panels de juges LLM afin d’assurer à la fois la difficulté et l’équité.

Résultats des modèles et analyse des performances

Onze modèles ont été évalués, incluant des modèles open‑weight et des API‑only comme Gemini, Claude et GPT. Le meilleur résultat appartient à Gemini 4 Argon avec 67,8 % de pass@1 et 81,0 % de pass@4, suivi de près par Claude Opus 5.5 (67,3 % pass@1, 78,0 % pass@4). Au total, 95 tâches sont résolues par au moins un modèle, ce qui montre que les scénarios sont solvables, mais le leader échoue encore sur 19 % du jeu, soulignant une longue traîne non résolue.

Coûts, frontière de Pareto et perspectives d’utilisation

Le benchmark intègre une analyse coût‑efficacité. DeepSeek V4.1 Flash atteint 57,0 % de pass@1 pour 0,04 $ par exécution. Claude Opus 5.5 ajoute dix points de performance à 1,83 $, tandis que Gemini 4 Argon dépasse les deux précédents à 3,92 $. Cette répartition forme une frontière de Pareto où chaque amélioration de score implique un coût supplémentaire, offrant aux chercheurs un axe d’optimisation clair.

Au-delà de l’évaluation, les tâches sont étiquetées rl‑environment, ce qui permet d’utiliser les mêmes environnements et vérificateurs comme récompenses pour l’entraînement d’agents défensifs. La disponibilité du code, du jeu de données et du harness sous licence ouverte facilite la reproduction, l’extension et la contribution communautaire, renforçant la transparence du processus de mesure des capacités de défense automatisée.