Introduction
Groq, une startup spécialisée dans les puces d'inférence, a annoncé avoir levé 650 millions de dollars pour développer sa plateforme cloud. Cette annonce intervient sept mois après la signature d'un accord de licence de 20 milliards de dollars avec Nvidia Corp.
Contexte Technique
Groq a développé une puce appelée LPU, spécifiquement conçue pour les charges de travail d'inférence de l'IA. La LPU 3, une évolution de cette puce, a été présentée par Nvidia en mars et est livrée dans le cadre d'un appareil rack appelé LPQ, qui contient 32 plateaux avec trois unités LPU 3, un processeur central et des équipements réseau.
La LPU 3 inclut une fonctionnalité qui corrige automatiquement le décalage d'horloge pour éviter les goulets d'étranglement du trafic de données. Elle dispose également de 92 voies qui peuvent déplacer des données vers d'autres processeurs à une vitesse de 112 gigabits par seconde, ce qui équivaut à 2,5 téraoctets par seconde de bande passante bidirectionnelle.
Analyse et Implications
Groq exploite une plateforme cloud basée sur la LPU, qui permet aux entreprises de traiter des charges de travail d'inférence. La plateforme traite actuellement des milliards de jetons par semaine pour 5 millions de développeurs. L'objectif de Groq est de porter sa capacité d'inférence à 200 mégawatts d'ici 2027, en utilisant une partie du financement pour développer de nouveaux services tels que des bases de données gérées.
Perspective
Le développement de la plateforme cloud de Groq et son expansion potentielle vers des services de niveau supérieur pourraient constituer une menace pour les autres fournisseurs de services cloud IA. La capacité de Groq à se démarquer de la concurrence en offrant des services plus complets et en exploitant son avance technologique dans le domaine des puces d'inférence sera cruciale pour son succès à long terme.
