Contexte de la demande d’inférence
Gimlet Labs annonce une levée de 300 M$ en série B, menée par Andreessen Horowitz et soutenue par une vingtaine d’investisseurs majeurs. Depuis son tour de série A, l’entreprise indique une hausse de 6 fois du nombre de tokens générés mensuellement sur douze mois, avec des prévisions de 20 fois d’ici 2030. Cette explosion de la demande s’inscrit dans un investissement global de près de 1 trillion de dollars par an dans les infrastructures IA, dont la consommation prévue passe de 18 GW en 2025 à plus de 50 GW en 2030. Le facteur limitant devient alors la puissance électrique disponible, d’où la nécessité d’optimiser le débit par kilowatt.
Architecture hétérogène et désagrégation granulaire
Gimlet décrit une « multisilicon cloud » qui combine GPU, accélérateurs near‑memory, architectures dataflow et CPU. Le logiciel trace chaque modèle, le découpe en sous‑tâches et les affecte aux puces les plus appropriées selon les exigences de latence et de débit. Deux schémas de désagrégation sont détaillés : le prefill/decode, où la phase de pré‑remplissage (calcul intensif) s’exécute sur un groupe de dispositifs et la phase de décodage (bande passante mémoire) sur un autre, et des variantes comme speculative‑decode ou attention‑ffn. Cette granularité permet de rééquilibrer dynamiquement la charge ; si le décodage est saturé, le système active des instances supplémentaires sur d’autres accélérateurs, évitant ainsi le gaspillage de capacité.
Performances annoncées et limites physiques
Selon les auteurs, la désagrégation hétérogène délivre des gains de 3 à 10 × en vitesse pour les charges de pointe, et des accélérations de 5 à 10 × pour un même budget énergétique. Ces chiffres reposent sur la capacité à exécuter chaque phase du pipeline d’inférence sur le matériel optimal, réduisant ainsi le temps‑par‑token tout en maintenant le même power envelope. Toutefois, l’efficacité dépend fortement de la disponibilité d’une palette d’accélérateurs compatibles et d’une orchestration logicielle capable de prédire les goulots d’étranglement. En l’absence de standards d’interopérabilité, chaque nouveau type de puce impose un effort d’intégration qui peut limiter la scalabilité à très grande échelle. De plus, la réduction de la latence par token ne résout pas le problème fondamental de la consommation énergétique globale, qui reste proportionnelle à la multiplication des modèles (de quelques centaines de milliards à 3‑10 t de paramètres) et à l’allongement des fenêtres de contexte (de ~100 k à >1 M tokens). Ainsi, même avec des gains de 10 ×, la demande projetée de puissance pourrait dépasser les capacités du réseau électrique sans innovations supplémentaires dans la génération d’énergie ou la gestion thermique.
