Introduction
Tensormesh a développé une technologie innovante pour améliorer l'efficacité de l'inférence d'intelligence artificielle (IA) en éliminant les calculs redondants. Cette technologie a convaincu des géants de l'infrastructure d'IA tels que Nvidia, AMD et CoreWeave, qui ont investi 20 millions de dollars dans l'entreprise.
Contexte Technique
Les unités de traitement graphique (GPU) ont des caches de mémoire limités, ce qui les oblige à retraiter les mêmes données à plusieurs reprises. Tensormesh utilise une technique appelée mise en cache clé-valeur (KV) pour stocker les données intermédiaires générées par les modèles de langage (LLM) lors du traitement d'une requête. Cela permet de sauter les recalculs à chaque nouvelle requête, réduisant ainsi la latence et les coûts de calcul.
La solution de Tensormesh, appelée Tensormesh Inference, est basée sur le projet open-source LMCache et comprend un tableau de bord d'économie de coûts qui permet aux développeurs de suivre les taux de cache et de les convertir en économies tangibles. Les développeurs peuvent également contrôler directement la quantité de stockage allouée au cache pour optimiser leur infrastructure.
Analyse et Implications
La technologie de Tensormesh a le potentiel de transformer les données intermédiaires de l'IA en une nouvelle classe d'actifs, ce qui pourrait devenir extrêmement précieux à mesure que les agents d'IA deviennent plus complexes. Les investissements de Nvidia, AMD et CoreWeave démontrent l'importance de cette technologie pour l'avenir de l'IA.
Les clients de Tensormesh ont déjà atteint des taux de cache de plus de 70 %, ce qui signifie que plus des deux tiers de toutes les requêtes sont récupérées à partir du cache au lieu d'être recalculées. Cela peut entraîner une réduction de la latence et des coûts de calcul de 10 fois pour les développeurs qui construisent des modèles agents.
Perspective
Les fonds levés par Tensormesh seront utilisés pour étendre les intégrations matérielles avec les infrastructures d'AMD, Nvidia et CoreWeave, et pour accélérer le développement de produits. L'entreprise reste également engagée envers le projet open-source LMCache, qui bénéficiera de nombreuses innovations à venir.
Il est important de suivre les prochaines étapes de Tensormesh et son impact sur l'industrie de l'IA, car sa technologie a le potentiel de révolutionner la façon dont les modèles d'IA sont déployés et utilisés.
