Contexte et enjeux
Le passage du financement de l'entraînement des modèles à la phase de service a multiplié le nombre d'appels d'inférence. Un agent IA peut transformer une seule requête utilisateur en plusieurs sous‑agents, chacun déclenchant des milliers d'appels pendant des heures. Cette dynamique, décrite par Jonathan Bryce, directeur exécutif du Cloud Native Computing Foundation, impose une charge de travail très différente de celle des chatbots classiques, où chaque message ne déclenchait qu'un appel unique.
Kubernetes, plateforme d'orchestration open‑source, a été conçue dès le départ pour gérer des charges de travail distribuées et dynamiques. Cette architecture native du cloud permet aux entreprises d'IA de disposer d'une base fiable pour déployer des services d'inférence à grande échelle, comme le montre l'adoption rapide lors du KubeCon + CloudNativeCon NA.
Mécanismes d'orchestration pour l'inférence agentique
Les agents codants, cités par Bryce, génèrent jusqu'à dix sous‑agents par tâche. Chaque sous‑agent peut lancer des dizaines de milliers d'appels d'inférence, ce qui nécessite une planification fine des ressources CPU, GPU et de la mémoire. Kubernetes répond en répartissant les pods sur les nœuds disponibles, en appliquant des politiques d'auto‑scaling et en assurant la résilience grâce à des contrôleurs de réplication.
Le modèle d'exécution repose sur des conteneurs légers qui encapsulent les modèles de langage et les bibliothèques d'inférence. Le scheduler de Kubernetes utilise les métriques de charge pour placer les pods près des accélérateurs matériels, réduisant ainsi la latence et le trafic réseau interne.
Projets CNCF ciblant performance et sécurité
Le moteur d'inférence llm-d et le projet Agent Substrate visent à extraire davantage de performances du matériel existant. L'objectif déclaré est d'optimiser le débit d'appels d'inférence sans nécessiter de nouveaux serveurs, ce qui répond à la hausse de la construction de centres de données liée à la demande d'inférence.
Sur le plan de la sécurité, le projet OpenShell a été placé sous gouvernance neutre du CNCF après la contribution de Nvidia. En moins de quelques mois, plus de 300 entreprises ont rejoint le projet, un rythme que Bryce qualifie d'exceptionnel comparé aux deux années habituelles pour atteindre un tel niveau de participation.
Perspectives et limites
La capacité de Kubernetes à réduire les frictions de collaboration repose sur l'interopérabilité des composants CNCF. Toutefois, la multiplication des appels d'inférence augmente la consommation énergétique et la complexité de la gestion des quotas. Les projets mentionnés offrent des gains de performance, mais ils restent dépendants de la disponibilité des GPU et de la qualité des modèles sous‑jacents.
En résumé, Kubernetes se trouve au cœur d'une nouvelle vague d'applications IA où un seul prompt peut déclencher des milliers d'opérations d'inférence. Les projets CNCF comme llm-d, Agent Substrate et OpenShell apportent des solutions concrètes, mais la maîtrise des ressources et la sécurisation des agents restent des défis ouverts.
