Présentation de General Compute
General Compute Inc., une startup d'infrastructure d'intelligence artificielle, a annoncé avoir levé 400 millions de dollars en financement par dette. Cette levée de fonds est souscrite par Upper90, qui fournira initialement 100 millions de dollars à l'entreprise. General Compute prévoit d'utiliser ces fonds pour développer son infrastructure cloud et répondre à la demande croissante de ses clients.
Architecture technique de General Compute
Contrairement à la plupart des fournisseurs d'infrastructure d'IA, General Compute n'utilise pas les cartes graphiques Nvidia Corp. L'entreprise a choisi de baser sa plateforme cloud sur les puces d'Advanced Micro Devices Inc. et de SambaNova Inc., une autre startup qui a récemment levé 1 milliard de dollars en financement. Les modèles d'IA utilisent un flux de travail en deux étapes pour répondre aux requêtes des utilisateurs : la phase de préremplissage, qui consiste à extraire le sens d'une requête, et la phase de décodage, qui génère une réponse un jeton à la fois.
Les accélérateurs de SambaNova sont optimisés pour accélérer le flux de travail de décodage, ce qui leur permet de performer plus rapidement que certaines cartes graphiques Nvidia.Implications et limites techniques
La vitesse à laquelle les données se déplacent entre la mémoire et les circuits de traitement d'une puce dépend de la distance physique entre les circuits. Les puces de SambaNova ont leurs circuits de mémoire et de traitement placés côte à côte, ce qui minimise les temps de déplacement des données. General Compute utilise les puces de SambaNova pour exécuter les calculs de décodage, tandis que la phase de préremplissage est effectuée à l'aide de la carte graphique MI300X d'AMD. Cette architecture permet à General Compute de proposer des services d'inférence avec des capacités de calcul importantes, tout en minimisant les coûts liés au refroidissement des équipements.
Services et expansion de General Compute
General Compute propose deux services pour accéder à son matériel d'inférence : des versions gérées de modèles de langage open source, accessibles via une API, et des environnements d'infrastructure dédiés avec plus de capacité de calcul. L'entreprise utilisera les fonds levés pour développer son infrastructure cloud et répondre à la demande croissante de ses clients. Selon un document sur son site web, General Compute a signé des accords pour acheter 15 mégawatts de capacité de rack refroidie par air dans des installations de colocation, ce qui devrait suffire pour ses plans de croissance du quatrième trimestre.
