Contexte et motivations

Lors du salon VMware Explore 2026, Chris Wolf, responsable mondial de l’IA chez Broadcom, a expliqué que les expérimentations d’IA dans le cloud privé rencontrent des obstacles liés à la souveraineté des données, aux exigences de tokenomics et aux coûts d’inférence en production. Ces contraintes poussent les entreprises à recentrer leurs investissements sur une infrastructure « private AI cloud », où la charge principale n’est plus l’expérimentation mais le déploiement d’inférences à grande échelle. La nécessité de respecter les législations nord‑américaines, européennes et asiatiques sur la localisation des modèles et des clés de chiffrement renforce ce virage.

Architecture logicielle proposée

VMware Cloud Foundation (VCF) est présenté comme la couche de mutualisation entre le matériel et les workloads IA. VCF gère des pools de machines virtuelles isolées capables de lancer rapidement des agents sans risque d’escalade de privilèges, répondant ainsi aux exigences de sécurité des charges agentiques. La contrainte mémoire est traitée par un placement de caches clé‑valeur directement sur les GPU, couplé à un tiering sur plusieurs classes de stockage afin d’optimiser le débit et la latence des modèles.

Le concept d’« AI factory » de Broadcom automatise le provisionnement du matériel brut jusqu’aux runtimes de modèles, puis exporte un fichier YAML permettant de cloner des clusters supplémentaires. Cette approche garantit que le logiciel choisi reste compatible avec les accélérateurs matériels acquis, évitant le piège de « acheter le hardware d’abord ». Exemple de fragment YAML :

apiVersion: vmware.cloud/v1
kind: AICluster
metadata:
  name: private-ai‑cluster‑01
spec:
  hardware:
    gpu: nvidia-h100
    cpu: 64‑core
  software:
    runtime: pytorch‑2.1
    cacheStrategy: gpu‑kv‑store

Le fichier décrit le type de GPU, le nombre de cœurs CPU, le runtime et la stratégie de cache, assurant une réplication exacte du cluster initial.

Implications opérationnelles

Pour les équipes IT, le défi central devient la gestion simultanée de modèles de pointe (frontier models), de modèles locaux spécialisés (SLM) et de swarms d’agents, le tout sur le même pool matériel. Wolf souligne que la mauvaise séquence d’achat – hardware d’abord, logiciel après – conduit à du « buyer’s remorse », les clients constatant que leurs solutions « turn‑key » ne couvrent pas les exigences d’autonomie des accélérateurs. En plaçant le logiciel au cœur de l’architecture, les entreprises conservent la flexibilité d’utiliser des modèles cloud lorsqu’ils sont nécessaires et des modèles on‑premises pour les charges sensibles.

Le modèle économique repose également sur la maîtrise du coût des tokens d’inférence. En privilégiant les modèles locaux pour les tâches récurrentes, les organisations réduisent la dépense liée aux appels aux services d’IA publics, tout en conservant la capacité d’activer les modèles de pointe uniquement lorsqu’une « deep reasoning » est indispensable.

Limites et perspectives

Wolf avertit que la vitesse d’évolution du domaine IA rend toute architecture figée rapidement obsolète. L’absence de métriques publiques sur les performances du pool VCF, le taux de latence des caches GPU‑KV et la consommation énergétique exacte limite l’évaluation précise des gains. De plus, la dépendance à un fournisseur unique (Broadcom/VMware) peut créer des verrouillages technologiques si les standards d’interopérabilité ne sont pas adoptés. Les entreprises devront donc concevoir leurs plateformes IA avec une marge d’adaptation suffisante pour intégrer de nouveaux accélérateurs ou modèles sans refonte majeure.