Présentation de l'Alliance Open Secure AI
L'Alliance Open Secure AI a proposé un ensemble de lignes directrices pour la notification d'incidents de cybersécurité impliquant des agents d'intelligence artificielle, une semaine après sa création. Le groupe compte désormais plus de 120 organisations membres, dont Nvidia, Cisco, CrowdStrike, Hugging Face et Red Hat.
Les lignes directrices SAFE
Les lignes directrices, appelées Shared AI Findings Exchange (SAFE), visent à fournir un canal confidentiel pour les organisations afin de partager des détails sur les incidents de sécurité liés à l'IA, les dysfonctionnements des agents et les quasi-accidents opérationnels. L'alliance analysera les informations reçues, notifiera les parties concernées et signalera les défaillances de contrôle qui se reproduisent au sein de ses membres.
Contributions des membres
Les membres de l'alliance ont commencé à partager du code et des outils pour améliorer la sécurité de l'IA. Okta a contribué des implementations d'identité d'agent basées sur son protocole Cross App Access. Palo Alto Networks a apporté deux outils, Agent Guard et Agent Watch. Amazon a contribué le langage d'autorisation Cedar et le toolkit Strands Agents. Microsoft a ajouté PyRIT, son toolkit de détection des risques Python, ainsi que trois autres projets.
Analyse et limites
Frank Dickson, vice-président du groupe pour la recherche sur la sécurité et la confiance à International Data Corp., a déclaré que l'alliance poursuit les travaux du projet Glasswing, en se concentrant sur la construction de fondations sécurisées. Cependant, il a exprimé des réserves quant à la validation des contributions open source, soulignant que les efforts de signature de code pourraient aider, mais que les projets open source reposent largement sur des bénévoles.
Exemple de code : Garak, un outil de scan de vulnérabilités open source pour les modèles de langage
