Présentation
Infinity Inc., une entreprise de recherche en infrastructure IA, a levé 15 millions de dollars en financement pour développer un logiciel capable d'exécuter des charges de travail d'inférence sur n'importe quel chipset. Le logiciel, appelé Ignition, utilise un agent IA pour générer, tester et optimiser les logiciels de bas niveau nécessaires pour exécuter des modèles de manière efficace sur différents processeurs.
Fonctionnement de Ignition
Ignition automatisé la création de débogueurs, de profileurs, de compilateurs, de noyaux et de l'orchestration de noyaux dans l'inférence, entre autres étapes. Les ingénieurs humains déterminent quels outils Ignition doit créer, tandis que l'agent gère la mise en œuvre. Pour travailler avec des jeux d'instructions propriétaires, l'entreprise construit des désassembleurs, qui traduisent le code exécutable en code source de niveau élevé pouvant être manipulé à l'aide de langages de programmation standard.
Performances et avantages
Infinity a déclaré que Ignition a augmenté le débit d'inférence pour le modèle Qwen3-8B de 34 % par rapport au framework vLLM largement utilisé après une journée d'optimisation automatisée. Dans un projet avec d-Matrix, le logiciel d'Infinity a atteint jusqu'à 92 % du rendement théorique maximal de l'accélérateur Corsair de l'entreprise en 10 heures. Le modèle de revenu d'Infinity lie la compensation aux améliorations qu'il produit, plutôt qu'aux frais de licence de logiciel.
Implications et limites
La technologie d'Infinity vise à résoudre un obstacle de longue date pour les concurrents potentiels de Nvidia Corp. : même lorsque leur matériel est compétitif, ils manquent d'un écosystème logiciel mature comparable à celui de Nvidia. Le logiciel d'Infinity peut aider à réduire la prise de Nvidia sur le marché des processeurs IA en générant un ensemble de logiciels de niveau Cuda en quelques heures ou jours. Cependant, les résultats des tests doivent encore être validés de manière indépendante pour confirmer leur exactitude.
