Présentation de Infinity

La startup Infinity, spécialisée dans les infrastructures AI, a annoncé une levée de fonds de 15 millions de dollars à une valorisation de 100 millions de dollars. Cette levée de fonds a été menée par des investisseurs tels que Touring Capital, Principal VC, ainsi que des chercheurs d'OpenAI et d'Anthropic.

Fonctionnement de la technologie Infinity

Infinity développe un logiciel visant à faciliter l'exécution de modèles AI sur les puces AI. Le logiciel CUDA de Nvidia, qui permet aux GPU de fonctionner comme des processeurs généraux, a été un facteur clé du succès de l'entreprise. Les principaux frameworks de développement AI, PyTorch et TensorFlow, ont été construits sur CUDA, permettant aux développeurs d'écrire des applications en langages tels que Python et de les exécuter par défaut sur les puces Nvidia.

Infinity cherche à développer un logiciel alternatif à CUDA, capable de fonctionner avec n'importe quel type de puce, comme les SRAM, les GPU, les puces de téléphone et les tableaux systoliques. Le logiciel d'Infinity est conçu pour être une bibliothèque universelle d'inférence, permettant aux puces d'automatiser la réplication de résultats de recherche de pointe.

Architecture et avantages

L'agent de recherche AI d'Infinity, appelé Ignition, est conçu pour écrire le code de bas niveau nécessaire pour l'inférence AI sur les puces alternatives à Nvidia. Il teste, débogage et mesure les performances du matériel avec le code, et réécrit automatiquement le code si nécessaire pour améliorer les performances. Le système est auto-optimisable, ce qui signifie qu'il apprend et s'améliore continuellement.

Les clients d'Infinity incluent le fabricant de puces AI D-Matrix, et l'entreprise est en pourparlers avec d'autres grandes entreprises de puces et de cloud. Infinity ne facture pas de frais de licence initial ; au lieu de cela, elle prend une part des gains de performance et des économies de coûts, en mesurant les changements en jetons par seconde.

Implications et limites

Les humains sont toujours impliqués dans le processus, fournissant des directives de haut niveau tandis que l'agent effectue le travail fastidieux. Dans une étude de cas, la startup a constaté que l'agent fonctionne beaucoup plus rapidement qu'un humain seul, réduisant ce qui aurait pu être un processus long de plusieurs années ou mois à quelques heures ou jours. Infinity compte actuellement 26 employés, dont des concepteurs, des opérationnels et des ingénieurs.