Contexte de l'IA agentique
L’infrastructure d’IA agentique doit exécuter à la fois le raisonnement du modèle sur GPU et les appels de tâches (API, requêtes SQL, appels d’outils) sur CPU. Selon Nvidia, la multiplication de ces appels crée une pression accrue sur les cœurs de processeur, transformant le CPU en un point de contention lorsqu’il faut orchestrer l’apprentissage par renforcement et l’inférence en temps réel.
Architecture Vera CPU et intégration CoreWeave
Nvidia déploie le processeur Vera, décrit comme doté de cœurs « beefy », d’une bande passante mémoire élevée et d’une latence réduite, afin de répondre à ces exigences. Le processeur est intégré dans le même plateau matériel que le DPU BlueField‑4, sous le nom de « Vera Rubin tray », où le runtime sécurisé OpenShell s’exécute sur le CPU et le composant Sentry de DOCA fonctionne sur le DPU. CoreWeave propose cette capacité Vera CPU en tant que service autonome, complémentaire à son offre de Sandboxes qui fournit des environnements isolés pour les agents.
Performances mesurées et limites
Lors d’un test interne, CoreWeave a observé une amélioration d’environ trois fois du temps de démarrage des Sandboxes grâce aux CPU Vera. Cette amélioration se traduit par une réduction du délai entre la création d’un environnement d’apprentissage et le lancement effectif des tâches d’agent. Toutefois, l’article ne précise pas les métriques de latence CPU ni les charges de travail exactes, ce qui limite l’évaluation de la scalabilité au‑delà des scénarios testés.
Sécurité et gestion opérationnelle
Le « Open Agent Safety Platform » de Nvidia combine les contrôles d’exécution OpenShell avec le monitoring du DPU, offrant une couche de surveillance indépendante. Cette architecture vise à garantir que les appels d’agent restent confinés et auditables. En parallèle, CoreWeave souligne que la gestion de l’alimentation, du refroidissement et de l’automatisation reste indispensable pour éviter que d’autres composants (réseau, stockage) ne deviennent le nouveau maillon faible.
