Contexte et enjeux

Lors du AI Infra Summit à Santa Clara, des dirigeants de AWS, Oracle, Broadcom, Qualcomm et d‑Matrix ont présenté leurs projets pour soutenir la croissance exponentielle de l’IA. Les débats publics sur le ralentissement du déploiement contrastent avec l’accélération des investissements matériels. Tony Pialis, vice‑président exécutif chez Qualcomm, a souligné que le ratio tokens per watt est devenu le principal indicateur de compétitivité, révélant une pression énergétique croissante.

Approches matérielles : CPU, GPU et mémoire

AWS mise sur la famille Graviton, ses processeurs Arm 64 bits, pour répondre à la demande d’inférence. En juin 2026, la société a lancé le Graviton5, conçu pour le raisonnement en temps réel et l’orchestration de tâches multi‑étapes. Peter DeSantis a indiqué que la majorité des charges de travail sur AWS sera désormais dédiée à l’inférence, ce qui justifie l’orientation vers des CPU plus économes que les GPU traditionnels.

Qualcomm, de son côté, propose une architecture propriétaire nommée high‑bandwidth compute (HBC). Selon l’entreprise, HBC délivre six fois la bande passante par watt comparée à la mémoire HBM et 200 fois la capacité par watt par rapport aux solutions SRAM. Cette amélioration cible le « goulot d’étranglement du déplacement de données », identifié comme la principale limitation lorsqu’on dépasse les capacités mémoire.

Le startup d‑Matrix introduit la puce Raptor, qui empile des couches de DRAM 3D pour augmenter la densité de stockage. La collaboration avec Nvidia intègre Raptor dans l’architecture de référence NVLink Fusion, offrant une latence ultra‑faible pour les services de tokenisation. Sid Sheth affirme que cette solution surpasse à la fois SRAM et HBM en termes de débit.

Solutions réseau et intégration

Oracle présente Acceleron, une architecture de virtualisation réseau combinée à des SmartNIC. En partenariat avec Nvidia et AMD, Oracle a développé Acceleron RoCE, qui contourne le routage traditionnel via les CPU et améliore les performances des clusters GPU. Karan Batta souligne que chaque maillon du stack, du réseau à la compute, doit être optimisé pour éviter les pertes d’efficacité.

Les prévisions financières illustrent l’ampleur du défi : la dépense mémoire des serveurs AI, déjà huit fois supérieure à celle des serveurs classiques, devrait passer de 35 milliards de dollars en 2025 à entre 175 et 190 milliards en 2027, soit une multiplication par cinq. Cette hausse justifie les investissements massifs dans les architectures HBC, Raptor et Graviton5, qui visent à réduire le coût énergétique du token.