Contexte et enjeux

Les centres de données qui exécutent l’inférence d’IA rencontrent aujourd’hui un goulet d’étranglement majeur : la mémoire. Les GPU restent largement inactifs pendant que les unités de mémoire haute bande passante (HBM) attendent d’être sollicitées. Selon les intervenants de la conférence SC26, plus de 80 % du trafic réseau lors du scale‑up correspond à des transactions de mémoire, ce qui génère une consommation énergétique disproportionnée et des flops gaspillés du fait d’une utilisation GPU très faible.

Architecture de la photonic fabric et de l’appliance

Marvell Technology propose une Photonic Fabric qui transporte les données entre les GPU et une boîte externe contenant la mémoire. Penguin Solutions commercialise l’appliance MemoryAI Photonic, qui regroupe 16 téraoctets d’HBM et de DDR5 dans un châssis placé à plusieurs dizaines de mètres des processeurs. La liaison optique remplace le cuivre traditionnel entre les racks, permettant à plusieurs serveurs de partager un même pool de mémoire sans duplication locale.

Analyse énergétique et performances

Le passage du cuivre à la photonique modifie le « energy math ». Les intervenants indiquent que le déplacement optique réduit la consommation à un quart de l’énergie du cuivre, mesurée en picojoules par bit. Cette amélioration provient du fait que, grâce au pool partagé, une grande partie des données ne circule plus physiquement entre les nœuds, éliminant ainsi les transferts redondants. En pratique, cela se traduit par une moindre nécessité de recomputation, notamment pour les caches de tokens (KV cache) utilisés par les grands modèles de langage, où la persistance de l’état sur de longues séquences de tokens est cruciale.

Limites et perspectives

Malgré les gains annoncés, la solution repose sur une infrastructure optique qui doit être déployée à l’échelle du datacenter, ce qui implique des coûts d’installation et de maintenance non négligeables. De plus, la distance « tens of meters » reste limitée par les pertes optiques et la synchronisation des horloges entre GPU et mémoire distante. Enfin, l’article ne fournit pas de mesures de latence précises ni de benchmarks comparatifs, ce qui rend difficile d’évaluer l’impact réel sur les temps de réponse des charges d’inférence. Néanmoins, la réduction de la consommation énergétique du trafic mémoire représente une voie prometteuse pour atténuer le « hidden energy tax » des systèmes d’IA à grande échelle.