Introduction

Arena, le fournisseur de classements de performances de modèles d'IA, a atteint un chiffre d'affaires annuel de 100 millions de dollars seulement huit mois après le lancement de son service commercial. Cette entreprise, issue d'un projet de recherche à l'UC Berkeley en 2023, propose un classement crowdsourcé des performances des modèles d'IA.

Contexte Technique

Arena est connu pour son classement de performances de modèles d'IA généré à partir de plus de 10 millions d'évaluations utilisateur. Le site web de l'entreprise permet aux utilisateurs de saisir une invite qui est envoyée à deux modèles, puis de choisir lequel a mieux performé. Alors que le classement d'Arena est gratuit pour un usage public, l'entreprise a commencé à générer des revenus à partir de sa plateforme en septembre avec le lancement d'AI Evaluations, un service qui fournit des analyses de performances approfondies aux laboratoires de modèles et aux entreprises.

La plateforme d'Arena propose des classements de modèles sur une variété de tâches, notamment le texte, la programmation, la vision et la génération d'images, ainsi que des flux de travail complexes et à long terme grâce à son mode Agent récemment introduit.

Analyse et Implications

La croissance rapide des revenus d'Arena montre que ses offres commerciales sont aussi populaires auprès des clients qu'auprès de sa communauté d'évaluateurs, qui sont souvent attirés par la plateforme pour accéder aux derniers modèles d'IA, souvent non encore publiés. La société est en concurrence avec des startups de labellisation humaine comme Mercor, Surge et Scale AI, qui aident les créateurs de modèles à affiner leurs IA pendant la post-formation.

Perspective

Alors que les fournisseurs d'IA cherchent à maximiser les performances de leurs modèles, leur appétit pour les services de raffinement post-formation continue de croître. Arena a levé un total de 250 millions de dollars auprès d'investisseurs, dont Felicis, Andreessen Horowitz et Lightspeed Venture Partners. L'entreprise doit désormais surveiller les limites de son modèle économique et les prochaines étapes pour maintenir sa position sur le marché en pleine évolution.