Azure Maia 300 optimise l’inférence LLM grâce à une architecture SDLA

Contexte et objectifs

Azure Maia 300 représente la troisième génération d’une plateforme conçue exclusivement pour l’inférence de grands modèles de langage (LLM). Microsoft décrit la démarche comme une optimisation du rapport énergie‑performance, chaque watt et chaque dollar devant générer davantage de tokens utiles. Cette orientation répond à l’émergence d’applications « agentic » qui combinent exécution multi‑étape, décodage long‑contexte et utilisation d’outils, modifiant ainsi le profil de calcul et l’intensité arithmétique de l’inférence.

Architecture logicielle et matérielle

Le socle technique repose sur la Software Defined Locally Accessed Dataflow Architecture (SDLA), introduite avec Maia 200. SDLA sépare la programmation du chemin de contrôle de l’exécution du chemin de données, permettant au logiciel de piloter explicitement le placement, le déplacement et la conversion des données entre mémoires locales, moteurs DMA, unités de calcul et réseau. Sur Maia 300, le socle évolue vers une organisation NUMA répartie sur plusieurs chiplets, contrairement à l’architecture UMA du modèle précédent. Cette répartition donne aux développeurs la possibilité de placer les données à proximité du compute qui les consomme, réduisant les latences inter‑chiplet.

Innovations de la mémoire et du flux de données

Deux avancées majeures concernent la mémoire et la précision des données. D’une part, le passage à des formats de précision étroite, accompagnés de convertisseurs matériels, diminue le volume d’octets transférés par token. D’autre part, le système intègre une bande passante HBM augmentée de 2,5 fois par rapport à la génération précédente, tout en conservant une architecture multi‑chiplet où les fonctions de contrôle mémoire et d’I/O sont réalisées sur des dies dédiés, optimisés pour la bande passante et le coût. Le recours au processus TSMC N2P pour les compute dies améliore le ratio performance‑par‑watt, tandis que les dies de mémoire et d’I/O utilisent des technologies plus adaptées à leurs exigences.

Implications de performance et limites

Microsoft indique que ces choix augmentent les FLOPs du système de 36 %, offrent 14 % de bande passante supplémentaire au niveau du scale‑up, et permettent de doubler la densité d’accélérateurs par rack à 96. Un « superpod » peut ainsi contenir 12 288 accélérateurs, fonctionnant comme une entité unique. Cette échelle vise à maximiser les tokens utiles par watt et par dollar, mais elle impose des contraintes de refroidissement et d’alimentation qui restent limitées par les enveloppes physiques des datacenters. De plus, la dépendance à la programmation fine du flux de données nécessite des outils logiciels capables d’exploiter pleinement le modèle SDLA, ce qui peut ralentir l’adoption pour les équipes ne disposant pas de ces compétences.