Présentation de SambaNova
SambaNova, une startup spécialisée dans les puces d'inférence, a annoncé avoir levé 1 milliard de dollars lors d'une ronde de financement, valorisant l'entreprise à 11 milliards de dollars. Cette ronde de financement a été menée par General Atlantic, avec la participation d'Intel Capital, Vista Equity Partners et JPMorgan Chase & Co.
Architecture de la puce SN50
La puce SN50, présentée par SambaNova, est conçue pour accélérer les modèles d'intelligence artificielle. Elle est composée de dizaines de modules appelés « tiles », qui combinent des circuits de traitement avec une mémoire SRAM à haute vitesse. Cette architecture réduit le temps nécessaire pour déplacer les données entre les circuits de traitement et la mémoire, ce qui accélère l'inférence.
La puce SN50 utilise trois types de mémoire RAM : SRAM, HBM et DRAM. L'HBM est utilisé pour stocker les poids actifs du modèle et le cache KV, tandis que le DRAM permet de stocker plusieurs réseaux de neurones inactifs. Cette architecture permet à la puce de charger un réseau de neurones à partir du DRAM vers l'HBM en quelques millisecondes.
Performances et applications
La puce SN50 offre une performance supérieure à celle de la carte graphique Nvidia B200, avec une vitesse maximale cinq fois plus rapide. Elle est livrée dans un appareil de 16 puces appelé SambaRack SN50, qui consomme environ 20 watts de puissance, ce qui permet d'utiliser un refroidissement par air standard.
JPMorgan, l'un des contributeurs à la ronde de financement de SambaNova, a annoncé son intention d'adopter la puce SN50 pour son infrastructure d'inférence sur site. SambaNova utilisera les fonds levés pour améliorer sa gamme de puces, la conception de ses appareils et ses logiciels, ainsi que pour accélérer ses efforts de commercialisation.
Implications et limites
La puce SN50 de SambaNova représente une avancée significative dans le domaine de l'inférence, offrant des performances accrues et une consommation d'énergie réduite. Cependant, il est important de noter que la complexité de l'architecture de la puce et les exigences de refroidissement peuvent présenter des défis pour les utilisateurs. De plus, la compatibilité de la puce avec les différents modèles d'intelligence artificielle et les applications spécifiques doit être prise en compte.
La puce SN50 utilise une architecture de tiles pour accélérer l'inférence, avec une mémoire SRAM à haute vitesse pour réduire le temps de déplacement des données.
