Contexte et besoin d’inférence ultrarapide
Les applications d’IA générative telles que Muse, Copilot ou Codex exigent des réponses interactives en temps réel. En 2026, Cerebras a constaté une demande croissante d’inférence rapide, tant sur son Inference Cloud que chez ses partenaires. Dans un environnement limité par la consommation d’énergie, la métrique clé devient le nombre de tokens générés par mégawatt. Les prévisions de Goldman Sachs indiquent que la capacité d’inférence devra augmenter de façon exponentielle pour soutenir ces charges de travail.
Architecture désagrégée : préremplissage GPU et décodage WSE
L’inférence se compose de deux étapes distinctes : le préremplissage (prefill), qui traite le prompt et crée l’état intermédiaire du modèle, et le décodage (decode), qui génère les tokens de sortie de façon autoregressive. Cerebras a séparé ces étapes en assignant le préremplissage aux GPU – typiquement des AMD Instinct – et le décodage aux Wafer Scale Engines (WSE) de la série CS‑3, CS‑4 et CS‑5. Cette séparation exploite la supériorité du WSE en bande passante mémoire : chaque puce intègre « des dizaines de gigaoctets de SRAM » et délivre « des dizaines de pétaoctets par seconde », soit 350 × la capacité SRAM et 5 400 × la bande passante d’un GPU GB300 classique. Le décodage, qui doit relire les poids à chaque token, bénéficie ainsi d’un accès ultra‑rapide aux données.
Performances mesurées et efficacité énergétique
Dans un déploiement de production sur le Cerebras Inference Cloud, les GPU AMD Instinct ont géré le préremplissage tandis que les systèmes CS‑3 ont assuré le décodage. Cette combinaison a généré un facteur 5 d’augmentation du débit de tokens par mégawatt comparé à une configuration CS‑3 uniquement, sans perte de vitesse de génération. Le gain provient du fait que les puces WSE peuvent héberger davantage de requêtes concurrentes et de couches de modèle grâce à leur mémoire on‑chip massive. Les mesures, publiées le 14 novembre, sont normalisées à un facteur de référence 1 × pour l’inférence agrégée.
Adoption par les partenaires et perspectives
Le modèle désagrégé est proposé aux partenaires via une architecture de référence qui intègre un framework d’inférence désagrégée, un moteur de préremplissage compatible avec vLLM ou SGLang, un moteur de décodage Cerebras et le logiciel KV Portal qui transfère l’état intermédiaire via RDMA. Deux options logicielles existent : une pile complète « end‑to‑end » pour un déploiement rapide, et un SDK « decode‑only » pour les intégrateurs souhaitant contrôler le préremplissage. Des partenaires précoces – Amazon Web Services, Fireworks AI, Gimlet Labs et General Compute – utilisent déjà cette solution. Cerebras prévoit de déployer la désagrégation sur plusieurs centaines de mégawatts d’ici fin 2027, augmentant ainsi la capacité d’inférence ultrarapide disponible pour les clients.