ScaleFlux déploie des contrôleurs SSD intelligents pour lever le goulot mémoire IA

Contexte du goulot mémoire

Les usines d'IA utilisent des GPU capables de transférer 20 à 22 téraoctets par seconde. Cette bande passante dépasse largement les capacités des niveaux inférieurs de la hiérarchie mémoire. Selon Pichai Balaji, vice‑président de ScaleFlux, la DRAM est 37 à 40 fois plus lente que le GPU, tandis que le stockage NAND est environ 800 fois plus lent. Le résultat est un goulet d'étranglement où les GPU restent inactifs en attendant les données, ce qui rend la performance globale dépendante de la rapidité du déplacement des données.

Architecture des contrôleurs SSD et CXL

ScaleFlux propose à la fois des contrôleurs SSD et des contrôleurs mémoire Compute Express Link (CXL). Le dispositif associe du silicium dédié, un firmware spécialisé et une architecture de référence complète. Le contrôleur intelligent exploite les caractéristiques du NAND – notamment la latence de lecture/écriture et la densité – pour le faire fonctionner comme une mémoire active plutôt que comme un simple support d'archivage. Cette approche cible le key‑value cache offload, c’est‑à‑dire le stockage du contexte conversationnel utilisé par les charges d’inférence.

ScaleFlux affirme pouvoir gérer plus de 200 flux de placement de données flexibles et réaliser 7 à 10 écritures par jour sur du NAND triple‑level‑cell (TLC) standard. Le fait d’être « NAND‑agnostique » permet aux clients de choisir n’importe quel type de flash disponible, ce qui atténue les risques liés aux pénuries de composants. L’entreprise fournit également un design de référence et collabore avec un partenaire de fabrication sous contrat pour assurer l’évolutivité du produit.

Analyse des performances et limites

L’utilisation du NAND comme mémoire active réduit le facteur de ralentissement de 800 à un ordre de grandeur moindre, mais elle ne supprime pas entièrement la différence de latence avec la DRAM. Le contrôleur doit donc orchestrer des algorithmes de prélecture, de mise en cache et de compression pour minimiser les accès aléatoires. Le gain dépend fortement de la capacité du firmware à anticiper les schémas d’accès des modèles d’inférence.

Un autre point critique réside dans la bande passante du lien CXL. Bien que CXL offre une latence plus faible que les interfaces PCIe classiques, il reste limité par la vitesse du bus et la capacité du contrôleur à gérer plusieurs flux simultanés. En outre, la durabilité du NAND TLC, avec un nombre limité de cycles d’écriture, impose une contrainte sur les charges de travail à forte intensité d’écriture, même si les 7‑10 écritures quotidiennes annoncées restent modestes.

Enfin, l’approche de ScaleFlux repose sur une intégration logicielle étroite entre le firmware du contrôleur et les frameworks d’IA. Sans un support natif dans les bibliothèques d’inférence (TensorRT, PyTorch, etc.), les gains potentiels peuvent être partiellement perdus. La transparence du modèle de référence et la disponibilité d’API ouvertes seront donc déterminantes pour l’adoption à grande échelle.