Contexte et objectifs

Après le départ de Jacob Coxon, chercheur chez Anthropic, qui a dénoncé le risque d’une IA capable de tuer l’humanité d’ici la fin de la décennie, les fondateurs Rune Kvist et Rajiv Dattani ont créé Artificial Intelligence Underwriting Company (AIUC). L’entreprise vise à offrir aux entreprises un moyen de vérifier que les agents IA qu’elles déploient respectent des exigences de sécurité et de fiabilité. Le modèle s’appuie sur le besoin exprimé par les secteurs bancaires, hospitaliers et militaires de disposer d’une garantie contractuelle sur le comportement des systèmes d’IA, au même titre que les standards de cybersécurité existants.

Architecture du standard AIUC‑1

AIUC a conçu le standard AIUC‑1 en s’inspirant du cadre SOC 2, largement adopté pour les audits de sécurité des services cloud. Le standard définit plus de 250 critères couvrant trois axes majeurs : prévention des jailbreaks, réduction des hallucinations et protection contre les fuites de données. Pour élaborer ces critères, AIUC a réuni un consortium d’environ 250 responsables de sécurité et de risques, qui ont fourni leurs exigences lors de réunions mensuelles. Cette approche collaborative garantit que les exigences reflètent les attentes réelles du marché.

Processus d’audit et analyse des résultats

Lorsqu’un client soumet un agent IA, AIUC exécute une batterie d’environ 5 000 tests automatisés. Chaque test place l’agent dans un scénario contrôlé (par exemple, une tentative de contournement de ses garde‑fous, une requête susceptible de générer une hallucination ou une requête visant à extraire des données d’entraînement). Les tests sont orchestrés par des agents IA spécialisés, qui génèrent les entrées, collectent les réponses et pré‑analysent les logs. Les données brutes sont ensuite traitées par d’autres modèles d’IA pour extraire des métriques de conformité. Un auditeur humain valide le rapport final, qui s’étend sur environ 100 pages et détaille les points de conformité ainsi que les écarts critiques.

AIUC a déjà signé des contrats avec des clients tels que Cursor, Lovable, Harvey et ElevenLabs. Le financement de l’entreprise s’élève à 55 millions de dollars, dont une levée de 40 M$ en série A menée par Ribbit Capital et une précédente levée de 15 M$ provenant de Nat Friedman (NFDG) et d’autres investisseurs comme First Harmonic.

Limites et perspectives

Le modèle d’audit repose sur des tests pré‑définis ; il ne peut pas couvrir toutes les formes d’émergence comportementale imprévisible, notamment les interactions complexes entre plusieurs agents. De plus, la dépendance à des agents IA pour exécuter les tests introduit un risque de biais algorithmique, même si la vérification humaine atténue ce problème. Enfin, le standard AIUC‑1 reste volontaire : aucune autorité réglementaire n’impose son adoption, ce qui limite son impact à l’ensemble du secteur. Néanmoins, la démarche montre comment les pratiques de cybersécurité peuvent être transposées aux risques spécifiques de l’IA, offrant ainsi une première couche de confiance pour les organisations qui souhaitent intégrer des agents IA à grande échelle.