Présentation

Le token par watt est en train de devenir la métrique d’efficacité définissante pour les centres de données d’IA, mettant ainsi le stockage au centre d’une réflexion sur l’infrastructure. Cette tendance est motivée par l’explosion de la demande de mémoire contextuelle due à l’IA agentic.

Contexte technique

La solid-state storage est passée d’un rôle secondaire à un rôle critique dans les clusters d’IA. Les technologies telles que le KV cache offload, l’inference data pipelining et les fenêtres de contexte élargies créent un nouveau niveau de stockage à l’intérieur des clusters d’IA. Ce niveau détermine si les GPU restent actifs ou inactifs, selon Avi Shetty, vice-président de l’écosystème d’IA chez Solidigm.

Shetty a déclaré : « La nouvelle métrique pour les centres de données est le token par watt, pour le dollar par token par watt ». Un simple prompt peut nécessiter environ 13 gigaoctets de données lorsqu’on prend en compte les activités système, les requêtes de base de données, etc.

Fonctionnement et architecture

Solidigm a développé une philosophie de conception d’écosystème qui met l’accent sur l’efficacité du token par watt. Le laboratoire d’IA Central de l’entreprise, une réplique miniature d’un centre de données réel, exécute des charges de travail d’IA réelles sur du matériel NVIDIA H100, B200 et B300, ainsi que des logiciels de partenaires tels que MinIO, Weka et NetApp.

Exemple de code pour le KV cache offload :
   # Code pour illustrer le concept, non fourni dans la source
   # Il est important de noter que le code réel dépend des spécificités de l’implémentation

Implications et limites

Le disque SSD D5-P5336 de 122 téraoctets de Solidigm illustre directement l’argument de densité : 24 disques dans un rack 1U peuvent fournir quatre pétaoctets de stockage, consolidant ce qui nécessiterait 12 racks de disques durs en un seul, avec une réduction de consommation d’énergie de 80 à 90 %. Cette puissance récupérée peut être redirigée vers les GPU.

En fin de compte, l’efficacité du stockage est fondamentale. Si vous cherchez la densité, 122 téraoctets, 24 disques dans un rack 1U, vous obtenez quatre pétaoctets de stockage. Cela permet d’avoir de l’efficacité, ainsi que des opportunités d’extension à mesure que les besoins évoluent.