Contexte et objectifs du benchmark
SecurityScorecard Inc. a rendu public le TPRM Benchmark, destiné à mesurer la capacité des modèles d’intelligence artificielle à exécuter des tâches de gestion du risque de fournisseurs (Third‑Party Risk Management). Le cadre s’appuie sur la télémétrie propriétaire de SecurityScorecard, incluant des questionnaires et documents fournis par les vendeurs, souvent incomplets ou manipulés. L’objectif déclaré est de fournir aux équipes de sécurité un moyen transparent d’évaluer à la fois les performances fonctionnelles et la résistance aux attaques d’un modèle avant son déploiement.
Mécanismes d’évaluation de la capacité
Les tâches de capacité couvrent le tri d’exposition et le risque technologique de quatrième‑niveau. Chaque scénario débute à partir d’un instantané de la télémétrie de SecurityScorecard, validé par des experts avant notation. Les réponses correctes sont protégées et les entrées sont régulièrement rotatives, limitant la mémorisation du test par les modèles. Les scores sont comparés à une ligne de base avec intervalles de confiance, et chaque modèle reçoit un niveau d’autonomie de L0 à L4 selon sa constance sur plusieurs itérations. Cette gradation indique le degré de confiance que l’on peut accorder à un modèle sans supervision humaine.
Tests de résistance aux attaques
Le Model Security suite soumet chaque modèle à des techniques d’injection de prompts, de jailbreak et d’autres vecteurs d’adversaire. Les modèles obtiennent une note de A à F. Certaines tâches sont intentionnellement « piégées » avec des auto‑déclarations de fournisseurs contradictoires, afin de mesurer l’impact des fausses affirmations sur la précision du modèle. Les premiers essais, incluant des modèles « closed frontier », « open‑weight » et internationaux, montrent que les modèles open‑weight réduisent l’écart avec les modèles de pointe sur les scénarios de chaîne d’approvisionnement, mais restent « hautement susceptibles aux attaques adversariales », selon le CISO/Chief AI Officer de SecurityScorecard, Mike Mylrea. Aucun nom de modèle ni score détaillé n’a été divulgué.
Disponibilité et perspectives
Le cadre complet, version 2026.09, est disponible en open source avec documentation, suite de sécurité et inscription au tableau de bord public. Les participants peuvent exécuter leurs propres modèles et soumettre les résultats à un classement partagé. SecurityScorecard indique que les scores synthétiques‑calibrés obtenus sur le niveau public sont directement comparables aux évaluations internes certifiées. Manoj Nair de Snyk souligne que le benchmark offre « une méthode partagée et transparente pour évaluer capacité et résistance aux attaques simultanément ». Enfin, Aleksandr Yampolskiy compare l’intégration d’un agent IA non testé à « confier un accès privilégié à un nouvel employé dès le premier jour », rappelant le nouveau vecteur d’attaque introduit par des modèles non vérifiés.
