Introduction
L'essor de l'IA a entraîné une demande croissante pour des ordinateurs capables de faire tourner des modèles d'IA. Cependant, deux obstacles majeurs se dressent : obtenir les bonnes puces et les intégrer dans des centres de données pour générer des revenus.
Contexte Technique
General Compute, une nouvelle entreprise de cloud d'inférence, propose des solutions à ces problèmes. La demande de GPU a explosé, mais il est devenu évident que ces puces ne sont pas les meilleures pour exécuter des modèles d'IA une fois formés. Une nouvelle classe de puces est en cours de conception pour répondre à ces besoins. Les transactions de Nvidia et Cerebras montrent la voie à suivre.
Les co-fondateurs de General Compute, Finn Puklowski et Jason Goodison, ont trouvé une alternative en utilisant des puces spécialisées conçues par SambaNova, une société de conception de puces soutenue par Intel. Ces puces sont plus flexibles, utilisent plus de mémoire pour stocker le contexte pendant les calculs d'inférence et surpassent les performances des GPU et d'autres puces spécialisées.
Analyse et Implications
Les implications de cette technologie sont considérables. Les puces de SambaNova consomment moins d'énergie et peuvent être installées dans des centres de données existants sans investissements supplémentaires. General Compute a déjà commandé 300 millions de dollars de ces puces et sera le premier cloud à les déployer.
La vitesse et le coût de l'inférence deviendront les principaux facteurs de compétitivité dans le futur de l'IA. Les clouds d'inférence comme General Compute font des paris sur un monde où plusieurs modèles et agents coexistent, et où la vitesse et le coût de l'inférence seront essentiels.
Perspective
Il est important de surveiller l'évolution de cette technologie et son impact sur le marché. Les partenariats entre les entreprises de conception de puces et les fournisseurs de cloud, comme celui entre SambaNova et General Compute, seront cruciaux pour déterminer qui capturera la plus grande valeur dans le futur de l'IA.
Les prochaines étapes seront de voir comment ces technologies évolueront et comment elles seront intégrées dans les applications réelles. La course aux puces pour l'IA est en marche, et il est essentiel de rester à l'affût des dernières avancées pour comprendre les implications de cette révolution technologique.
