Introduction

Pramaana Labs, une startup de vérification formelle, a annoncé avoir levé 27 millions de dollars en financement pour développer un système qui peut prouver les réponses données par l'IA. Ce système, décrit comme un compilateur pour l'IA à haut enjeu, vérifie les réponses des modèles d'IA contre les règles d'un domaine et ne les retourne que si elles peuvent être prouvées correctes.

Contexte Technique

Le système de Pramaana Labs repose sur une couche déterministe qui audite la sortie d'un modèle d'IA conventionnel. Il réécrit les règles d'un domaine dans un langage formel que une machine peut raisonner. Le système utilise alors un moteur de preuve pour vérifier les réponses. La fondation technique est basée sur Lean, un langage open-source utilisé pour écrire des preuves mathématiques vérifiées par machine.

Les fondateurs de Pramaana Labs argumentent que les modèles d'IA actuels ont un gap qu'ils ne peuvent pas combler seuls. Un grand modèle de langage peut écrire une réponse qui sonne correcte, mais il ne peut pas prouver que la réponse est correcte. Dans les domaines régis par des règles strictes, c'est la partie qui compte.

Analyse et Implications

Le système de Pramaana Labs a des implications importantes pour les domaines régis par des règles strictes, tels que la fiscalité, le diagnostic médical, la cybersécurité et la conformité financière. Le système peut aider à réduire les erreurs coûteuses et à améliorer la confiance dans les réponses données par l'IA.

La startup a déjà attiré l'attention de plusieurs investisseurs, dont Khosla Ventures, Accel et BoldCap, qui ont participé au tour de financement. Le financement sera utilisé pour former les modèles de formalisation et de preuve de la société, embaucher des ingénieurs de recherche et ajouter des experts de domaine dans les secteurs réglementés.

Perspective

Il est important de surveiller les prochaines étapes de Pramaana Labs, en particulier dans les domaines où les règles sont complexes et les erreurs coûteuses. La capacité du système à prouver les réponses données par l'IA pourrait avoir un impact significatif sur la confiance dans l'IA et son adoption dans les domaines régis par des règles strictes.