Contexte et enjeux
Les dirigeants d’AMD, Supermicro et Nutanix soulignent que le modèle d’IA est désormais une commodité ; la vraie valeur réside dans la capacité à rendre les données d’entreprise accessibles et exploitables à grande échelle. Selon Nicola Tan (AMD), les organisations passent du proof‑of‑concept (POC) à la production, où les jeux de données s’étendent de quelques gigaoctets à plusieurs pétaoctets, et où les requêtes d’inférence peuvent atteindre des milliers de tokens par seconde. Cette transition expose les limites des couches logicielles traditionnelles, qui ne sont pas conçues pour soutenir les agents autonomes consommant des tokens à un rythme inédit.
Architecture de stockage à deux niveaux
Supermicro propose une architecture à deux niveaux : des SSD flash pour les jeux de données actifs et un stockage objet à grande capacité pour les archives moins sollicitées. Cette séparation permet de maximiser le débit vers les GPU AMD tout en maîtrisant les coûts d’infrastructure. Zhou précise que la contrainte principale n’est plus la disponibilité du matériel, mais la rapidité avec laquelle les données atteignent les GPU, car chaque milliseconde de latence se traduit en sous‑utilisation des accélérateurs et en augmentation du temps de réponse des agents.
Le choix d’un stockage objet (par exemple, S3‑compatible) offre une scalabilité quasi illimitée, tandis que les SSD NVMe assurent des IOPS élevées (plus de 1 M IOPS) nécessaires aux charges de travail d’inférence en temps réel. Cette hiérarchisation réduit le coût total de possession (TCO) en réservant le stockage coûteux uniquement aux données critiques, tout en conservant la bande passante requise pour les flux de données massifs.
Impacts sur la chaîne d’inférence et les coûts de token
Les agents autonomes, décrits par Mayank Gupta, multiplient les appels entre modèles, bases de données et autres agents, ce qui fait exploser la consommation de tokens. Un seul dialogue agent‑à‑agent peut consommer plusieurs milliers de tokens en quelques millisecondes, entraînant des dépenses opérationnelles importantes. En optimisant la proximité des données (data locality) grâce au stockage flash, on réduit le nombre de cycles d’attente du GPU, ce qui diminue indirectement le nombre de tokens nécessaires pour chaque requête en évitant les re‑requêtes redondantes.
Par ailleurs, la capacité à pré‑cacher les jeux de données fréquemment sollicités sur SSD permet de maintenir les GPU à 90 % d’utilisation moyenne, selon les métriques internes de Supermicro, alors que les scénarios de production qui reposent uniquement sur le stockage objet voient l’utilisation chuter en dessous de 50 %.
Sécurité, souveraineté et déploiement hybride
Les intervenants insistent sur la nécessité d’une gouvernance stricte : les agents accèdent aux données à grande vitesse, ce qui crée des vecteurs d’attaque potentiels. Les solutions « sovereign AI » visent à garder les données sensibles (propriété intellectuelle, informations clients) dans des environnements contrôlés, souvent on‑premises ou au bord du réseau. Supermicro, en partenariat avec Nutanix, propose des couches de gestion logicielle capables d’isoler les flux de données entre zones de confiance et zones publiques, tout en conservant la compatibilité avec les modèles open‑weight déployés localement.
Cette approche hybride permet aux entreprises de combiner la flexibilité du cloud public pour les charges de travail non critiques avec la sécurité du datacenter interne pour les données protégées, répondant ainsi aux exigences du CFO en matière de coûts de token et du CEO en matière de conformité.
