Introduction
Mindbeam AI Inc. a annoncé le lancement d'un cadre d'inférence IA open-source appelé Litespark-Inference, conçu pour améliorer les performances des modèles de langage sur les processeurs standards. Cette technologie vise à réduire la dépendance aux unités de traitement graphique (GPU) coûteuses pour certaines charges de travail IA.
Contexte Technique
Litespark-Inference est une bibliothèque logicielle qui permet aux modèles de langage ternaires de fonctionner sur les processeurs centraux (CPU) d'Apple, Intel, AMD et Arm avec des performances nettement améliorées par rapport aux implémentations PyTorch standard. Les tests ont montré que le cadre offre des améliorations de débit allant de 17 à 96 fois, tout en réduisant les exigences de mémoire de plus de 80 %.
Les modèles ternaires utilisés par Mindbeam limitent les poids à trois valeurs : -1, 0 et +1, réduisant ainsi considérablement les coûts des opérations de multiplication nécessaires lors de l'inférence, bien que cela se fasse au détriment d'une certaine précision.
Analyse et Implications
La sortie de Litespark-Inference intervient à un moment où le coût de l'utilisation de jetons dans l'inférence IA augmente et où les organisations cherchent à réduire les coûts de déploiement de modèles, en particulier dans les cas d'utilisation à la périphérie où la mémoire est limitée. La plupart des inférences de modèles de langage reposent actuellement sur les GPU, qui sont coûteux et en rupture de stock. Mindbeam soutient que les CPU, qui se trouvent aux côtés des GPU dans presque tous les systèmes IA, sont une ressource sous-utilisée.
Perspective
Mindbeam ne cherche pas à remplacer les GPU mais voit les CPU comme des accélérateurs complémentaires capables d'améliorer l'efficacité globale du système. L'entreprise prévoit de cibler les applications de robotique et de calcul à la périphérie sensibles à la puissance dans le futur, avec l'intention de commercialiser des versions axées sur le cloud de la technologie plus tard cette année.
