Google Cloud réduit le coût des agents IA inactifs sur Kubernetes

Contexte et problème de coût

Kubernetes est aujourd'hui la plateforme dominante pour l'entraînement distribué et l'inférence d'IA. Dans les charges de travail dites « agentic », les conteneurs ou machines virtuelles restent provisionnés alors que les agents passent entre 90 % et 95 % de leur temps en attente de modèles, de tests ou d'approbations humaines. Cette inactivité entraîne une facturation continue du compute, même lorsqu'aucune opération n'est exécutée.

Architecture d'Agent Substrate

Google Cloud a publié, via la Cloud Native Computing Foundation, le projet open‑source Agent Substrate. Il s'agit d'un runtime qui héberge chaque agent dans un environnement isolé sur Kubernetes. Lorsqu'un agent devient inactif, le runtime capture un instantané (« snapshot ») de la mémoire et des fichiers locaux, libère les ressources CPU et RAM, puis stocke le snapshot dans un stockage persistant. La reprise se fait en restaurant l'instantané dans un sandbox disponible, permettant à l'agent de continuer exactement là où il s'était arrêté.

Analyse économique et limites

Selon les déclarations d'Allan Naim, directeur du produit AI infrastructure chez Google Cloud, l'exécution d'Agent Substrate sur Kubernetes a permis une réduction du coût d'environ 10 fois comparée à l'exécution directe d'agents sur des machines virtuelles ou des conteneurs dédiés. Cette amélioration provient de la libération du compute pendant les phases d'attente, qui peut être réaffecté à d'autres agents ou à des tâches de formation. La mesure repose sur des comparaisons internes de facturation, sans divulgation de chiffres bruts, ce qui limite la vérifiabilité externe. De plus, la dépendance à un stockage persistant pour les snapshots introduit un coût supplémentaire et une latence de reprise qui peut varier selon la bande passante du stockage sous‑jacent.

Sécurité et extensions complémentaires

Pour contrer les risques de sécurité liés aux agents capables de modifier le système ou d'établir des connexions réseau non autorisées, Google a intégré gVisor, un sandbox open‑source publié en 2018. gVisor intercepte chaque appel système effectué par l'agent, offrant ainsi une couche d'isolation supplémentaire au-dessus du noyau hôte. En parallèle, Google collabore avec Anyscale sur KubeRay, qui déploie la plateforme Ray directement sur Kubernetes, facilitant le partage de ressources d'entraînement entre équipes de recherche. Enfin, le projet OpenRL apporte le support du reinforcement learning, permettant d'entraîner des modèles de garde‑fou à l'intérieur du même environnement Kubernetes. Ces projets élargissent le spectre fonctionnel d'Agent Substrate, mais introduisent également des dépendances supplémentaires et des exigences de configuration qui peuvent complexifier le déploiement initial.