Contexte et enjeux
Gimlet Labs a annoncé une levée de 300 millions de dollars en série B, menée par Andreessen Horowitz et soutenue par Arm Holdings, Samsung Ventures, le fonds M12 de Microsoft et d’autres investisseurs, portant la valorisation de l’entreprise à 3 milliards de dollars. La société cible les charges d’inférence des grands modèles de langage (LLM), dont les modules présentent des exigences matérielles très hétérogènes : certains consomment davantage la mémoire des GPU, d’autres requièrent des accélérateurs à bande passante élevée. Cette hétérogénéité crée un goulet d’étranglement lorsqu’un même processeur exécute l’ensemble du modèle.
Le financement porte le total des capitaux externes à 392 millions de dollars et finance l’expansion de la capacité serveur (plusieurs centaines de mégawatts) ainsi que le développement d’un serveur d’inférence dédié, dépourvu de carte mère, destiné à des déploiements hors datacenter.
Architecture de la plateforme désagrégée
Gimlet propose un logiciel qui décompose automatiquement un LLM en modules cohérents puis affecte chaque module à l’architecture de puce la plus adaptée. La forme la plus répandue de désagrégation, appelée PD disaggregation, sépare les phases de prefill (traitement du prompt) et de decode (génération de la réponse) sur des puces distinctes. Cette séparation exploite le fait que la phase de prefill nécessite de charger de gros blocs de poids en mémoire, alors que la phase de decode est davantage limitée par la latence de calcul.
Gimlet supporte également des découpages plus fins : la phase de decode peut être subdivisée en plusieurs sous‑workflows, chaque sous‑module étant assigné à un accélérateur dédié. Un exemple cité par la société combine un modèle « drafter » léger, exécuté sur un ASIC à faible consommation, avec un LLM de pointe qui affine le texte sur un GPU à haute performance. Cette granularité permet d’optimiser le ratio performance / coût énergétique pour chaque composant du pipeline.
Mécanismes d’optimisation par IA et compilateur
Le cœur du produit repose sur une chaîne d’optimisation hybride. Des agents IA explorent un espace de conception contenant des stratégies de parallélisation, de quantisation et de placement de mémoire. Après identification d’une approche prometteuse, les agents déclenchent des tests de validation automatisés afin de garantir la conformité fonctionnelle du modèle sur la cible matérielle.
Le compilateur propriétaire de Gimlet applique ensuite un mix d’optimisations génériques (fusion d’opérations, élimination de redondances) et d’optimisations spécifiques à la puce (utilisation de registres dédiés, exploitation des instructions tensor cores). Cette double couche réduit le nombre d’opérations flottantes exécutées et minimise les déplacements de données, deux facteurs critiques pour les LLM dont la taille dépasse souvent les capacités de cache des accélérateurs.
Perspectives et limites
Gimlet commercialise son logiciel sous deux formes : une édition serverless, où l’infrastructure est fournie en tant que service, et une version managed déployable sur les propres serveurs du client. La société affirme avoir reçu des commandes évaluées à plusieurs milliards de dollars, incluant un des plus grands fournisseurs de cloud et un laboratoire d’IA parmi les trois premiers mondiaux.
Les défis restent néanmoins importants. La désagrégation exige une connaissance fine des profils de charge de chaque module, ce qui peut varier d’une version de modèle à l’autre. De plus, la dépendance à des puces propriétaires (Arm, GPU NVIDIA, ASICs spécifiques) crée un risque de verrouillage technologique et complique la portabilité. Enfin, le gain énergétique dépend fortement de la disponibilité de matériel spécialisé, un facteur qui peut être limité par les contraintes d’approvisionnement du marché des semi‑conducteurs.
