Mirai améliore l'inférence de modèles sur appareils

Introduction

L'entreprise Mirai, fondée par les co-fondateurs de Reface et Prisma, vise à améliorer l'inférence de modèles sur les appareils tels que les téléphones et les ordinateurs portables. Cette technologie permettrait d'exécuter des tâches complexes directement sur les appareils, réduisant ainsi la dépendance aux serveurs cloud et améliorant la confidentialité et la rapidité des applications.

Contexte Technique

Mirai développe un framework pour les modèles afin qu'ils puissent fonctionner de manière plus efficace sur les appareils. L'entreprise a créé un moteur d'inférence pour Apple Silicon qui optimise le débit sur les appareils. Le prochain kit de développement logiciel (SDK) de Mirai permettra aux développeurs d'intégrer le runtime dans leurs applications avec seulement quelques lignes de code. Le moteur a été construit en utilisant le langage de programmation Rust, ce qui peut augmenter la vitesse de génération des modèles de jusqu'à 37% sans altérer la qualité de la sortie.

Analyse et Implications

L'amélioration de l'inférence de modèles sur les appareils a des implications significatives pour les applications telles que les assistants vocaux, les transcritpeurs, les traducteurs et les applications de chat. Mirai vise à prendre en charge les modalités texte et voix, avec des plans pour étendre son support à la vision à l'avenir. L'entreprise travaille également avec des fournisseurs de modèles pour ajuster leurs modèles pour une utilisation sur les appareils et est en pourparlers avec différents fabricants de puces. L'objectif à long terme est de rendre les applications plus rapides, plus sécurisées et moins dépendantes des serveurs cloud, ce qui pourrait réduire les coûts et améliorer l'expérience utilisateur.

Perspective

Alors que Mirai progresse dans le développement de sa technologie, il est important de surveiller son impact potentiel sur l'industrie. Les limites de la technologie, telles que la complexité des modèles et les contraintes matérielles des appareils, devront être abordées. De plus, la concurrence dans le domaine de l'IA sur les appareils est en constante évolution, avec d'autres entreprises travaillant sur des solutions similaires. Mirai devra continuer à innover et à s'adapter pour rester compétitif. Les signaux à suivre incluent les partenariats futurs, les lancements de produits et les réactions des développeurs et des utilisateurs à la technologie de Mirai.