Contexte et mission
Vals, créée en 2024, a levé un seed round mené par 8VC et Bloomberg Beta, puis 40 millions de dollars en série A dirigée par Andreessen Horowitz. En moins de deux ans, l’effectif est passé de huit à vingt‑cinq employés et le chiffre d’affaires a été multiplié par huit. Le fondateur, Rayan Krishnan, justifie la création de l’entreprise par l’écart croissant entre les modèles d’IA récents et les benchmarks académiques, jugés trop lents à s’adapter.
Méthodologie de benchmark
Vals ne publie pas les jeux de tests utilisés, afin d’éviter que les fournisseurs d’IA entraînent leurs modèles spécifiquement sur ces données. Les évaluations portent sur des tâches complexes propres à des secteurs tels que le droit, la finance ou le développement logiciel, plutôt que sur des questions de culture générale. Parmi les scénarios cités figurent des tests de « recursive self‑improvement », des simulations en santé mentale, cybersécurité, bio‑sécurité et même l’application du droit des conflits armés selon les conventions de Genève. Cette approche vise à mesurer la capacité d’un modèle à produire un résultat comparable à celui d’un humain dans un contexte professionnel, tout en identifiant les risques négatifs potentiels d’une utilisation incontrôlée.
Analyse des impacts et limites
En évaluant des tâches industrielles, Vals fournit aux entreprises un signal plus fiable que les scores de référence généraux. Le modèle de facturation, comparable à celui du College Board pour le SAT, incite les acteurs à payer pour découvrir des faiblesses avant le déploiement. Cependant, la non‑divulgation des tests soulève des questions de transparence : les clients ne peuvent pas vérifier l’équité ou la représentativité des scénarios. De plus, la concentration sur des domaines spécifiques peut masquer des biais latents dans d’autres contextes. Le fait que Vals propose déjà des évaluations aux agences fédérales indique une orientation vers la conformité réglementaire, mais la portée juridique de ces benchmarks reste à définir.
Modèle économique et perspectives
Le revenu actuel, huit fois supérieur à celui de l’année précédente, montre une demande croissante pour des mesures d’efficacité et de sécurité. La croissance de l’équipe et le projet de déménagement vers des locaux plus grands suggèrent une capacité à élargir le catalogue de tests. Si les standards de Vals deviennent largement adoptés, ils pourraient influencer les exigences des dépôts publics d’entreprises d’IA, comme le prévoient les dirigeants de la société. Néanmoins, l’adoption dépendra de la capacité à équilibrer confidentialité des tests et exigences de vérifiabilité imposées par les régulateurs.
