Contexte et enjeux
Selon Samir Rajadnya, principal architecte de l'équipe Pathfinding de Microsoft, la mémoire est devenue la ressource la plus rare dans les data‑centers dédiés à l’intelligence artificielle. Les GPU restent souvent inactifs, bloqués en attente de données, ce qui augmente le coût d’une capacité inutilisée. Cette situation s’accentue avec la montée en puissance de l’inférence AI, où la consommation d’énergie et la disponibilité de la mémoire constituent les deux plafonds majeurs du débit.
Architecture de la mémoire composable
Le concept de mémoire composable consiste à regrouper la capacité mémoire au‑delà des serveurs individuels et à l’allouer dynamiquement aux charges de travail. Microsoft explore ainsi des interconnexions à faible consommation d’énergie capables de relier la mémoire sur de longues distances sans pénalité de latence. Rajadnya indique que, lorsqu’on dépasse le châssis serveur, le choix entre cuivre et fibre optique dépend de la distance parcourue : le cuivre suffit pour les liaisons courtes, tandis que les connexions optiques deviennent indispensables pour les trajets plus longs afin de préserver la bande passante et le budget énergétique.
Le terme XPU regroupe les accélérateurs spécialisés (GPU, TPU, etc.) que Microsoft intègre dans son architecture. La réussite de la mémoire composable repose donc sur la synchronisation entre ces XPU et le pool de mémoire partagé, ce qui nécessite des protocoles d’interconnexion avancés. Microsoft contribue depuis plusieurs années au Open Compute Project et utilise le sommet mondial de l’OCP pour présenter ses avancées, soulignant que l’innovation d’un composant isolé ne suffit que si l’ensemble de l’écosystème évolue en parallèle.
Implications pour les hyperscalers et les entreprises
Pour les hyperscalers comme Azure, la mutualisation de la mémoire permet de réduire le temps d’inactivité des GPU et d’optimiser le ratio coût‑performance. Azure, déjà utilisé comme utility par des clients tels que Delta Air Lines et Walmart, doit garantir fiabilité et sécurité tout en appliquant ce modèle dynamique. Sur le plan de l’entreprise, la stratégie consiste à identifier les deux ou trois charges de travail critiques et à concevoir des systèmes verticalement intégrés – matériel, logiciel et silicon – afin de maximiser l’efficacité de la mémoire disponible.
Rajadnya résume la vision future : « une mémoire que l’on peut connecter avec le plus faible pouvoir sur de grandes distances et une capacité infinie ». Bien que cet idéal reste théorique, les progrès dans les interconnexions optiques et la standardisation via l’OCP rapprochent les data‑centers d’une architecture où la mémoire n’est plus un « serviteur » attaché à un processeur, mais une ressource dynamique, allouée en fonction des besoins réels des charges AI.
