Gimlet Labs reçoit 80M$ pour résoudre un goulet d'étranglement de l'IA

Introduction

Gimlet Labs, une startup spécialisée dans l'inférence cloud multichip, a reçu 80 millions de dollars pour résoudre l'un des principaux goulets d'étranglement de l'intelligence artificielle (IA). Cette startup a créé le premier et seul « cloud d'inférence multichip » au monde, permettant aux charges de travail d'IA d'être exécutées simultanément sur différents types de puces.

Contexte Technique

L'inférence est le processus d'utilisation d'un modèle d'apprentissage automatique formé pour faire des prédictions ou prendre des décisions sur de nouvelles données non vues. Le cloud d'inférence multichip de Gimlet Labs permet de diviser les tâches d'IA entre différents processeurs, tels que les unités centrales de traitement (CPU), les unités de traitement graphique (GPU) et d'autres types de processeurs. Cela permet d'améliorer considérablement l'efficacité et de réduire le temps d'inactivité des puces.

Le partenaire de Menlo Ventures, Tim Tully, a expliqué que lorsqu'un agent d'IA autonome est affecté à une tâche, il peut « chaîner des dizaines d'appels de modèle, d'étapes de récupération et d'appels d'outils à travers une logique de branchement non linéaire ». Chaque étape de cette chaîne est mieux exécutée par différents matériel. Par exemple, la préremplissage est liée au calcul, la décodage est liée à la mémoire et les appels d'outils sont liés au réseau.

Analyse et Implications

Gimlet Labs affirme que son cloud d'inférence multichip peut accélérer les charges de travail d'inférence de trois à dix fois pour le même coût et la même puissance. La startup vise les grands laboratoires de modèles d'IA et les plus grands centres de données, et ses partenaires incluent des géants de l'industrie tels que Nvidia, Advanced Micro Devices, Intel, Arm Holdings et Cerebras Systems.

Le fondateur et PDG de Gimlet Labs, Zain Asgar, a déclaré que le matériel existant fonctionne généralement à seulement 15 % à 30 % d'efficacité. « Vous gaspillez des centaines de milliards de dollars parce que vous laissez des ressources inactives », a-t-il déclaré. « Notre objectif était de essayer de déterminer comment les charges de travail d'IA pourraient être 10 fois plus efficaces qu'aujourd'hui ».

Perspective

Gimlet Labs prévoit d'utiliser les fonds pour développer son équipe et étendre son cloud d'inférence pour répondre à la demande croissante de l'industrie pour une inférence plus rapide. La startup a déjà généré des revenus à huit chiffres et a doublé sa base de clients au cours des quatre derniers mois. Les partenaires de Gimlet Labs incluent des entreprises telles que Nvidia, Advanced Micro Devices et Intel, qui sont toutes des acteurs clés dans l'industrie de l'IA.

Le financement de Gimlet Labs est un signe de l'importance croissante de l'inférence multichip dans l'industrie de l'IA. Alors que les modèles d'IA deviennent de plus en plus complexes, la nécessité d'une inférence plus rapide et plus efficace deviendra de plus en plus critique. Gimlet Labs est bien positionnée pour répondre à cette demande et pour jouer un rôle clé dans l'avenir de l'industrie de l'IA.