Présentation de General Compute

General Compute, une startup spécialisée dans l'inférence cloud IA, a obtenu un prêt de 400 millions de dollars de la part de Upper90, une firme d'investissement dans les technologies. Ce prêt est particulièrement intéressant car il utilise des puces d'inférence spécifiques comme garantie, conçues pour exécuter rapidement et efficacement des modèles d'IA déjà formés, plutôt que les puces plus coûteuses utilisées pour construire ces modèles.

Contexte technique des puces d'inférence

Les puces d'inférence, comme celles utilisées par General Compute, sont conçues pour être économes en énergie et ne nécessitent pas de systèmes de refroidissement à l'eau coûteux, ce qui permet leur déploiement plus rapide dans une variété de centres de données. Les puces SN50 de General Compute, par exemple, sont conçues pour l'inférence et promettent une vitesse d'inférence 16 fois plus rapide que les nuages basés sur les GPU.

Implications et limites du financement

Le financement de General Compute par Upper90 représente un signal important que les marchés réagissent aux préoccupations concernant le coût des outils et des jetons d'IA en se tournant vers des infrastructures qui exécutent des modèles open-source de manière plus économique. Cette approche permet aux entreprises de bénéficier de l'IA sans avoir à supporter les coûts élevés associés aux derniers modèles de pointe. De plus, l'utilisation de puces d'inférence spécifiques comme garantie pour le prêt souligne l'évolution du paysage de l'IA, où les alternatives à Nvidia émergent et où les fournisseurs de calcul qui ne sont pas verrouillés dans les accords Nvidia peuvent avoir un avantage en termes de prestation d'inférence rentable.

Architecture et fonctionnement des puces d'inférence

Les puces d'inférence, telles que celles développées par SambaNova, sont conçues pour être utilisées dans des environnements cloud spécifiquement conçus pour les charges de travail d'IA, appelés neoclouds. Ces puces sont optimisées pour exécuter des modèles d'IA formés, offrant ainsi une alternative plus économique et plus efficace aux GPU pour les tâches d'inférence. L'accès à ces puces en dehors de l'écosystème Nvidia est crucial pour permettre une concurrence plus ouverte et plus innovante dans le domaine de l'IA.