Contexte et enjeux

Lors du AI Leadership Symposium organisé par Dell Technologies, les intervenants ont souligné que les entreprises sont passées du débat sur l’adoption de l’IA à son déploiement à grande échelle. Cette évolution a mis en évidence que les agents autonomes fonctionnent en continu sur un ensemble hétérogène de plateformes. Les mécanismes de contrôle conçus pour des logiciels déterministes ne couvrent pas les actions dynamiques de ces agents, créant ainsi un écart entre les politiques déclarées et le comportement observé à l’exécution.

Shiv Agarwal, co‑fondateur de Singulr AI, a rappelé que la gouvernance doit désormais concilier l’intention de l’entreprise avec l’état réel du système pendant son fonctionnement. Sri Viswanath (Sycamore Labs) et Victor Jakubiuk (MisaLabs) ont confirmé que la vitesse d’évolution des capacités d’IA rend cette conciliation de plus en plus difficile.

Mécanismes de gouvernance à l'exécution

Singulr a étendu son cadre de gouvernance aux outils d’IA installés sur les postes des employés. Le modèle repose sur la surveillance d’actions telles que « une requête vers Internet pour récupérer des données » ou « l’envoi d’un courriel vers un compte privé ». Ces actions peuvent être encapsulées dans des flux d’opérations agentiques, rendant leur détection non triviale. Les contrôles mis en place se basent sur des points d’interception réseau et sur l’analyse des appels d’API LLM afin d’interrompre les flux non autorisés.

Les directeurs informatiques cherchent à contraindre les agents et les appels de grands modèles de langage à rester à l’intérieur de leurs clouds privés virtuels (VPC). Cette restriction vise à garantir que les données ne quittent jamais le périmètre contrôlé, limitant ainsi les risques de fuite ou de traitement non traçable. Les participants ont également évoqué la nécessité d’harmoniser ces pratiques avec le AI Act de l’Union européenne, qui impose des exigences de transparence et de traçabilité pour les systèmes d’IA à haut risque.

Implications architecturales et limites

Implémenter une gouvernance en temps réel implique l’ajout de couches d’observabilité entre l’agent et les ressources qu’il consomme. Cela se traduit souvent par des proxys de sécurité capables d’inspecter les requêtes sortantes, des agents d’audit déployés sur chaque nœud et des politiques de réseau définies par logiciel (SDN). Ces composants introduisent une latence supplémentaire qui doit être mesurée contre les exigences de performance des charges de travail IA.

Un autre défi réside dans la visibilité granulaire : certaines actions sont « profondément cachées » dans des séquences d’appels d’API, rendant la corrélation entre l’intention et le résultat difficile. Les solutions actuelles reposent sur des signatures d’activité et sur l’apprentissage de modèles de comportement, mais elles restent sensibles aux faux positifs et aux contournements sophistiqués.

En résumé, la migration de la gouvernance vers le runtime répond à la nécessité de contrôler des agents toujours actifs, mais elle impose des exigences d’infrastructure, de conformité et de performance qui doivent être équilibrées par chaque organisation.