Contexte et objectifs

Cogent Security, start‑up spécialisée dans la gestion des vulnérabilités, a présenté VR‑1.1, une version améliorée de son modèle de raisonnement avancé. Le modèle vise à automatiser la rédaction de correctifs pour les failles récemment divulguées, un maillon du processus de remédiation qui reste largement manuel. Selon le co‑fondateur Vineet Edupuganti, la phase de correction représente le goulet d’étranglement où les équipes de sécurité sont bloquées, car chaque correctif doit être validé par un ingénieur capable de préserver la fonctionnalité du logiciel.

Méthodologie du benchmark LiveCVEBench

Pour mesurer l’efficacité de VR‑1.1, Cogent a utilisé LiveCVEBench, un banc d’essai construit par le Harbin Institute of Technology et Kuaishou Technology. Le benchmark comprend 190 tâches tirées de vulnérabilités réelles publiées au cours des derniers mois, couvrant 14 langages de programmation différents. Chaque tâche place un agent dans un environnement de développement complet, fournit le rapport de vulnérabilité et le code affecté, puis exige un correctif qui doit passer deux séries de tests : un test de sécurité confirmant la fermeture de la faille et un test de fonctionnalité garantissant l’absence de régression. Les budgets d’inférence varient entre les modèles, comme indiqué dans la méthodologie publiée par Cogent Research.

Performances de VR‑1.1 et analyse technique

Sur l’ensemble du benchmark, VR‑1.1 a généré un correctif fonctionnel pour 57,9 % des tâches, contre 45,3 % pour Claude Code d’Anthropic et Codex d’OpenAI, qui se sont alignés. Le modèle débute chaque réparation en créant une preuve de concept qui déclenche la faille signalée, puis suit le flux de données à travers le code affecté, incluant les chemins connexes partageant la même faiblesse. Les correctifs restent courts, par exemple en insérant une vérification d’indice avant utilisation. Après chaque génération, un processus de révision indépendant exécute de nouveaux tests pour détecter d’éventuelles régressions ou des variantes de la vulnérabilité non couvertes. Le modèle ajoute également des tests de régression qui échouent si une modification future réouvre la faille, et il transmet les diagnostics d’échec aux itérations suivantes, ce qui réduit le nombre de cycles de correction.

Limites et perspectives

Bien que VR‑1.1 montre une avance mesurable, près de 42 % des scénarios restent non résolus, indiquant que la compréhension contextuelle du code et la génération de correctifs sûrs nécessitent encore une supervision humaine. Le benchmark ne couvre pas les environnements embarqués ni les systèmes à contraintes temps réel, ce qui limite l’évaluation de la robustesse du modèle dans ces domaines. De plus, les budgets d’inférence différents entre les modèles compliquent la comparaison directe des performances énergétiques. Cogent prévoit d’étendre VR‑1.1 à des langages supplémentaires et d’intégrer des mécanismes de vérification formelle pour renforcer la garantie d’absence de régression.