Contexte des retards de construction
La demande d’inférence IA dépasse la capacité de nouveaux data‑centers. Les retards proviennent de contraintes physiques liées à la construction, d’un accès limité au capital et d’obstacles législatifs, notamment aux États‑Unis. Ces facteurs repoussent la mise en service de nouvelles installations de plusieurs mois, créant un écart entre l’offre de puissance de calcul et les besoins du marché.
Architecture des racks air‑cooled et puce SN50
Le SN50, cinquième génération de puces de SambaNova, cible la phase de décodage de l’inférence, où le déplacement des données devient le goulot d’étranglement. La puce est intégrée dans des racks air‑cooled et suffisamment légers pour être installés dans des sites télécoms ou colocation existants. En comparaison, les racks GPU modernes requièrent souvent un plancher renforcé et consomment entre 120 kW et 250 kW par unité, avec des temps d’approvisionnement de 18 à 24 mois pour le refroidissement et l’alimentation.
Pour la phase de préremplissage, plus gourmande en calcul, SambaNova s’appuie sur les GPU Intel D‑Series, qui restent dans un environnement hétérogène avec le SambaRack SN50. Le compromis consiste à abandonner la mémoire HBM, jugée superflue pour le préremplissage, afin d’améliorer le rapport coût‑performance.
Implications pour les opérateurs telco et colocation
Les sites télécoms et colocation, souvent plus anciens, disposent d’espace et de puissance suffisants, mais ne sont pas conçus pour accueillir des racks à densité élevée et refroidis par liquide. L’approche air‑cooled de SambaNova permet d’utiliser ces infrastructures sans travaux de réhabilitation coûteux. Cela ouvre une voie de « brownfield » où la capacité AI est ajoutée à des installations existantes, réduisant le besoin d’investissements capitaux massifs.
Le modèle implique toutefois des limites : la densité énergétique reste inférieure à celle des solutions liquide, ce qui peut contraindre les charges de travail très intensives. De plus, la dépendance à des partenaires externes pour le préremplissage crée une chaîne d’approvisionnement supplémentaire, sensible aux mêmes retards que les équipements de refroidissement.
Limites et perspectives
Le principal défi reste la disponibilité de puissance électrique fiable dans les sites existants. Sans mise à niveau du réseau interne, les racks air‑cooled ne pourront pas atteindre les niveaux de performance des installations neuves. Par ailleurs, la stratégie de sacrifier la HBM pour le préremplissage réduit la flexibilité future si les algorithmes évoluent vers des besoins de bande passante mémoire plus élevés.
En résumé, la combinaison d’une puce SN50 optimisée pour le décodage et de GPU Intel D‑Series pour le préremplissage constitue une réponse pragmatique aux retards de construction. Elle exploite les capacités sous‑utilisées des sites telco et colocation, tout en imposant des contraintes de densité et de dépendance à des partenaires externes.