Contexte technique des LLM
Les poids des modèles de grande taille et le cache KV croissent avec la longueur du contexte multipliée par le lot. 64 utilisateurs à 1 M de contexte nécessitent environ 935 GB de cache KV. Cette combinaison crée simultanément un problème de capacité (plus de 900 GB) et de bande passante. Les solutions actuelles sont limitées : un couple de cartes SRAM atteint 300 TB/s à 1 ns de latence mais ne stocke que 4 GB, tandis que la SRAM 6T consomme des dizaines de watts à l’échelle du gigaoctet. Les HBM4, comme le NVIDIA Vera Rubin ou l’AMD Instinct MI455, plafonnent à ≈ 20 TB/s et exigent 2,4 pJ/bit, ce qui implique 1,92 kW pour 100 TB/s avant même le trafic du tissu.
Architecture du Raptor 3D‑DRAM
d‑Matrix empile un die logique TSMC N4 directement sur un die DRAM 3D via un empilement face‑to‑face de 36 µm. La solution « 1‑Hi » limite la densité thermique à 0,5 W/mm², permettant un refroidissement liquide tout en maintenant le DRAM < 100 °C. Chaque puce comporte 840 banques (768 actives après 72 spares) réparties sur 256 canaux, soit 3 banques par canal. Un module de 32 GB (4‑bit poids, 8‑bit KV) s’insère dans un rack de 72 cartes, capable de supporter un modèle frontier tel que Kimi K3 à 1 M de contexte.
Optimisations d’accès et gestion du débit
Le flux de données cible un flit de 128 B. Théoriquement, chaque accès de colonne délivre 32 B, nécessitant 4 banques pour atteindre 128 B en un seul accès. Avec seulement 3 banques par canal, un accès renvoie 96 B, obligeant deux accès pour un flit et générant ≈ 33 % de bande passante perdue (~33 TB/s). d‑Matrix introduit le stream blocking : quatre accès de 96 B sont combinés pour former trois flits de 128 B, éliminant le sur‑fetch et conservant 384 B en entrée pour 384 B en sortie. Le coût I/O de 0,37 pJ/bit représente 296 W pour 100 TB/s; la technique DBI (Data Bus Inversion) réduit ce chiffre de 20 % en inversant les flits lorsqu’ils sont majoritairement à 1, avec un overhead de 0,8 %. L’ECC est intercalé avec un code Reed‑Solomon, limitant l’impact du rafraîchissement accéléré (de 32 ms à 4 ms entre 85 °C et 105 °C) à 1,37 % de bande passante.
Performances attendues et limites
Dans l’inférence LLM, la phase de décodage est généralement memory‑bandwidth‑bound. En augmentant la bande passante du DRAM à ≈ 100 TB/s, le temps total de décodage diminue, améliorant l’ensemble du temps d’inférence. Cependant, la consommation thermique (≈ 105 °C de jonction) impose des contraintes de fiabilité : un taux de défaut de 1 % sur 840 banques menace la disponibilité du canal, et les températures élevées augmentent les erreurs douces. d‑Matrix utilise le bank chaining avec deux niveaux de multiplexage et 72 banques de secours pour masquer les défauts, maintenant l’uniformité des canaux avec un coût de routage négligeable. Malgré ces solutions, le budget énergétique total (logic‑on‑top, rafraîchissement, I/O) reste élevé, limitant l’adoption à des environnements de data‑center où le refroidissement liquide et l’alimentation dédiée sont disponibles.
