Présentation de Tensordyne
Tensordyne Inc. émerge de la discrétion avec son premier processeur en production chez Taiwan Semiconductor Manufacturing Co., Ltd. L'entreprise vise à challenger le marché de l'inférence IA en réarchitecturant les mathématiques au sein du silicium, et non juste le processeur lui-même, selon Gilles Backhus, co-fondateur de Tensordyne.
Mathématiques logarithmiques
Les mathématiques logarithmiques de Tensordyne éliminent les circuits multiplicateurs pour réduire la consommation d'énergie et la taille. Les multiplications peuvent être converties en additions dans l'espace logarithmique, et les additionneurs sont nettement plus petits et plus économes en énergie que les multiplicateurs. Tensordyne a déposé des brevets fondamentaux sur son système de nombres logarithmiques propriétaire « Pareto » et a résolu le problème difficile : la conversion précise et peu coûteuse vers une représentation linéaire pour les additions qui doivent encore se produire, a noté Backhus.
LogMath : x * y = 2 ^ (log2(x) + log2(y))Le résultat est un pod d'inférence de 72 puces qui tient dans seulement 13 unités de rack, consomme seulement 30 kilowatts — par rapport à 150 kilowatts pour un système Nvidia comparable — et utilise des interconnecteurs de puce à puce en cuivre à une seule étape à une latence d'environ un microseconde, soit environ 10 fois moins que les architectures concurrentes.
Architecture et performances
Cette densité signifie que quatre pods peuvent tenir dans une seule armoire standard, permettant aux clients de servir les plus grands modèles de frontière à plus de 1 000 jetons par seconde et par utilisateur sans nécessiter plusieurs armoires ou un fournisseur de réseau à haute vitesse secondaire, a déclaré Backhus. L'architecture de Tensordyne est dérivée de celle de Juniper Networks et permet une efficacité énergétique et une latence réduite.
Implications et limites
Les implications de cette approche sont importantes, car elle pourrait permettre une inférence IA plus rapide et moins coûteuse. Cependant, il est important de noter que les détails sur la mise en œuvre spécifique et les performances du processeur de Tensordyne sont limités, et il faudra attendre plus d'informations pour évaluer pleinement les avantages et les limites de cette technologie.
