Contexte et enjeux
Les charges d’intelligence artificielle passent du training à l’inférence, où la bande passante mémoire devient le facteur limitant. Selon Satyam Srivastava de D‑Matrix, la capacité du matériel à fournir des données rapidement détermine si le processeur génère des tokens ou reste inactif. Cette contrainte pousse les concepteurs à repenser l’interaction entre logique de calcul et mémoire, au‑delà du simple problème de puce.
Architecture du Raptor et mémoire 3D
Le Raptor, deuxième génération de D‑Matrix, intègre une couche de DRAM 3D empilée directement sous le die de calcul. Le test‑chip Pavehawk valide cette approche, en conservant l’architecture mémoire distribuée tout en déplaçant les cellules mémoire sur une couche séparée. Le trajet des données est ainsi limité à une distance très courte et ne traverse aucun interposer, créant une nouvelle tier entre SRAM et la mémoire haute bande passante (HBM). Cette configuration place la capacité entre les deux, tout en offrant une bande passante dix fois supérieure à celle de HBM et une efficacité énergétique également dix fois meilleure, selon les déclarations de Srivastava.
Performances annoncées et impact sur les charges d’inférence
En couplant un serveur basé sur l’accélérateur Corsair avec un parc de GPU Hopper existant, D‑Matrix observe une hausse d’utilisation du GPU de 20 % à environ 80 %. Cette amélioration se traduit par un nombre de tokens traités par dollar nettement supérieur, ce qui rend les clusters plus rentables. Le Raptor s’appuie également sur l’infrastructure NVLink Fusion de Nvidia, permettant de relier les accélérateurs à l’écosystème « AI factory » de Nvidia via un rack MGX. Cette intégration facilite la mise en place d’un environnement hétérogène où CPU, GPU et ASIC cohabitent et sont orchestrés par le logiciel.
Perspectives et limites
Le positionnement du Raptor comme « cluster‑chip » ouvre la voie à des systèmes où chaque nœud regroupe plusieurs types de processeurs. Toutefois, la technologie repose sur la production fiable de DRAM 3D empilée, un processus encore considéré comme risqué et nécessitant des cycles de validation prolongés. De plus, l’affirmation de performances dix fois supérieures à HBM reste à confirmer par des benchmarks publics indépendants. Sans données de latence ou de consommation détaillées, l’évaluation de l’avantage énergétique reste partielle. Enfin, l’adoption dépendra de la capacité des clients à intégrer le rackscale NVLink Fusion dans leurs datacenters existants.