Nvidia et les neoclouds

Présentation du marché

Les neoclouds, tels que CoreWeave et Nebius, connaissent une demande massive de la part des hyperscalers pour accélérer leur infrastructure d'intelligence artificielle (IA). Cette demande entraîne une croissance rapide des revenus et de la commande pour ces entreprises.

Architecture et fonctionnement

CoreWeave et Nebius permettent aux hyperscalers d'accéder aux dernières générations de GPU (Graphique Processing Unit) d'Nvidia, tout en optimisant l'utilisation des ressources de calcul. Les partenariats entre ces entreprises et les hyperscalers, tels que Microsoft et Meta, sont estimés à des milliards de dollars, avec des engagements allant jusqu'à 122,2 milliards de dollars pour Microsoft et Meta seuls.

Les neoclouds peuvent déployer des infrastructures de calcul haute densité en quelques mois, contrairement aux hyperscalers qui nécessitent des années pour construire leurs propres centres de données. Cela leur permet de proposer une valeur ajoutée importante aux entreprises qui ont besoin d'un développement rapide de l'IA.

Implications et limites

La relation entre CoreWeave, Nebius et Nvidia est cruciale pour l'accès aux dernières générations de GPU. Nvidia a récemment investi 2 milliards de dollars dans ces deux entreprises, leur permettant de déployer plus de 5 GW de capacité de centre de données d'ici 2030.

Cependant, cette croissance rapide est accompagnée de défis financiers importants. Les neoclouds doivent faire face à des coûts élevés pour déployer leurs infrastructures, ce qui les amène à utiliser des structures de financement circulaires, ce qui peut soulever des inquiétudes quant à la durabilité de leur modèle économique.

Exemple de code pour la gestion de l'allocation de ressources de calcul avec CoreWeave Kubernetes Service (CKS) :
   apiVersion: v1
   kind: Pod
   metadata:
     name: exemple-pod
   spec:
     containers:
     - name: exemple-container
       image: exemple-image
       resources:
         requests:
           cpu: 1
           memory: 1Gi
         limits:
           cpu: 2
           memory: 2Gi
   

Analyse scientifique

L'utilisation des GPU est un facteur clé dans la performance des applications d'IA. Cependant, la mesure de l'utilisation des GPU peut être complexe, car elle dépend de nombreux facteurs tels que la charge de travail, la configuration du matériel et les algorithmes utilisés. Le « MFU gap » (Metric FLOPs Utilization) est un indicateur qui permet de mesurer l'écart entre la capacité de calcul et l'utilisation réelle des GPU.

Les neoclouds, tels que CoreWeave, proposent des solutions logicielles pour optimiser l'utilisation des GPU, telles que le CoreWeave Tensorizer, qui permet de charger des modèles de machine learning à haute vitesse, réduisant ainsi le temps d'inactivité des GPU.