Contexte de la chaîne de données IA

Les accélérateurs GPU et TPU ont vu leurs performances croître d’un facteur d’environ 1 000 en huit ans, selon le co‑fondateur de ScaleFlux. Cette progression a créé un déséquilibre : les processeurs peuvent traiter les données plus rapidement que les niveaux externes de DRAM et de SSD ne les alimentent. Le résultat est un temps d’attente accru pour le calcul, identifié comme le principal goulot d’étranglement mémoire des data‑centers IA.

Architecture des contrôleurs ScaleFlux

ScaleFlux a présenté deux puces contrôleurs destinées aux deuxième et troisième étapes du pipeline. La première cible les SSD compatibles PCIe Gen 6, offrant une bande passante théorique de 64 GT/s par voie, soit près du double de la génération précédente. La seconde s’appuie sur Compute Express Link (CXL), un protocole d’interconnexion qui expose la mémoire distante comme une extension du pool de mémoire du processeur. En intégrant un processeur dédié au sein du contrôleur, ScaleFlux permet de gérer les opérations de mise en cache, de compression et de pré‑fetch de façon autonome, réduisant ainsi la latence entre le GPU et les modules de stockage externes.

Implications pour les charges d’inférence et agentic

Le passage du training massif à des charges d’inférence et de travaux agentiques exige un accès constant à de grands volumes de données. Contrairement au training, où les données sont souvent pré‑chargées, l’inférence en temps réel doit récupérer des fragments de modèle et des contextes d’entrée depuis la mémoire externe. Les contrôleurs ScaleFlux, en augmentant la bande passante effective et en diminuant la latence d’accès, permettent aux systèmes d’IA de maintenir un débit de calcul proche du maximum théorique du GPU, ce qui se traduit par une meilleure utilisation énergétique et une réduction du temps de réponse.

Limites et perspectives

Bien que les puces offrent des améliorations notables, elles restent dépendantes de l’écosystème matériel existant. La disponibilité de SSD PCIe Gen 6 et de plates‑formes CXL est encore limitée, ce qui peut retarder une adoption à grande échelle. De plus, la gestion de la cohérence de données entre la mémoire locale du GPU et la mémoire distante via CXL impose des exigences logicielles supplémentaires, notamment au niveau des pilotes et des runtimes d’IA. Enfin, l’efficacité réelle dépendra de la capacité des applications à exploiter les nouvelles primitives de pré‑fetch et de compression introduites par les contrôleurs.