Contexte et enjeux
Les agents d’intelligence artificielle déclenchent aujourd’hui des milliers d’appels aux grands modèles de langage (LLM). Cette intensité génère des coûts d’inférence élevés, surtout lorsqu’il faut pré‑remplir le contexte (prefill) puis décoder les réponses token par token. SambaNova propose les SN50 RDUs (Rapid Decoding Units) pour alléger la phase de décodage, ce qui permet aux agents de finaliser leurs tâches plus rapidement tout en améliorant la rentabilité économique de l’inférence.
Architecture des SN50 RDUs
Le système combine des GPU NVIDIA dédiés au pré‑remplissage avec les SN50 RDUs qui exécutent exclusivement le décodage. Chaque RDU intègre un réseau de 10 000 puces prévu pour la première série de production, intégré par Supermicro dans des serveurs prêts à la vente. Cette séparation des charges réduit la charge de calcul sur les GPU, optimise l’utilisation du pipeline et diminue la densité thermique du rack, ce qui se traduit par une consommation d’énergie moindre que les solutions monolithiques.
Performances mesurées et implications économiques
Sur la plateforme SambaCloud, le modèle GLM‑5.3 atteint plus de 200 tokens/s grâce aux SN50 RDUs, surpassant les modèles fermés sur les benchmarks Terminal‑Bench 3.0 et Agents’ Last Exam tout en consommant moins de tokens par tâche. Z.ai rapporte que ces gains de débit se traduisent directement en économies d’inférence, car moins de cycles de calcul sont nécessaires pour chaque token généré. De plus, la capacité à exécuter de gros modèles sans recourir à des densités de rack extrêmes évite la construction de nouveaux data‑centers, réduisant ainsi les dépenses d’infrastructure.
Limites et perspectives
Malgré les avantages, la solution dépend toujours de GPU NVIDIA pour la phase de pré‑remplissage, ce qui impose un coût matériel initial. La production de 10 000 puces SN50 représente un défi de fabrication et de distribution qui pourra limiter la disponibilité à court terme. En outre, la réduction de la consommation d’énergie reste proportionnelle à la charge de décodage ; les scénarios où le pré‑remplissage domine ne bénéficient pas pleinement de l’accélération. Les prochains itérations devront donc élargir l’accélération au pré‑remplissage ou intégrer des architectures plus hétérogènes pour maximiser l’efficacité globale.