Contexte et enjeux de la vérification Lean
Le mois dernier, OpenAI a publié un « theorem dump » contenant 722 articles de mathématiques, dont environ 45 % étaient accompagnés de code Lean. Trois articles sans code Lean ont été rétractés pour une erreur de signe, ce qui montre que la présence de code ne garantit pas la validité du résultat. Le débat porte sur la confiance que l’on peut accorder à une affirmation du type : « ce théorème est correct parce qu’il a été vérifié dans Lean ». Cette confiance dépend de plusieurs contrôles que la communauté n’a pas encore systématiquement appliqués aux dépôts générés par IA.
Correspondance entre l’énoncé informel et le code Lean
Le premier test consiste à vérifier que l’énoncé formel correspond à la déclaration du papier. Un exemple simple illustre le risque : le code suivant compile, mais il formalise une version triviale de la conjecture de Fermat qui est fausse dans ℕ, car ℕ inclut 0.
import Mathlib
def FermatsLastTheorem : Prop :=
∀ a b c n : ℕ, n ≥ 3 → a^n + b^n ≠ c^n
Un mathématicien familier avec Lean repère immédiatement l’erreur, mais dans des projets plus complexes, la déclaration peut s’appuyer sur des dizaines de milliers de lignes de dépendances. Le dépôt « Formal Conjectures » de DeepMind nécessite plus de 10 000 lignes pour formuler l’hypothèse de Hodge, et le projet Tau Ceti d’Axiom importe plus de 250 000 lignes pour la classification des groupes simples finis, dont 5 600 lignes essentielles. Sans vérification humaine, il est impossible de certifier que la formulation correspond exactement à l’énoncé du papier.
Compilation et intégrité du dépôt Lean
Une fois l’énoncé validé, le code doit être compilé dans un environnement sécurisé. Anthropic a fourni 13 millions de lignes de code pour une preuve de Fermat ; la compilation a d’abord échoué sur une machine standard, nécessitant un serveur de 96 cœurs et 500 Go de RAM. En comparaison, le dépôt OpenAI relatif au problème de Navier‑Stokes, d’une taille de 640 K lignes, compile sans problème sur un ordinateur portable. Ces chiffres montrent que la taille du dépôt influence directement les exigences matérielles et le risque d’exécution non contrôlée. Le sandboxing reste indispensable, car du code IA peut contenir des instructions inattendues.
Preuve effective et limites de la confiance
Le troisième critère vérifie que le code produit réellement la preuve de l’énoncé déclaré. Parmi les 290 théorèmes d’OpenAI accompagnés de Lean, environ 38 ne déclarent même pas le théorème principal du papier. Certains ne prouvent que des résultats intermédiaires ; par exemple, le papier 194 prétend démontrer la conjecture de Lech, alors que le code ne formalise que le corollaire 5.4 du texte. Ainsi, même si le code compile, il peut ne pas couvrir la totalité de la revendication. La confiance ultime repose donc sur une chaîne de vérifications : correspondance d’énoncé, compilation sûre, et preuve complète, chacune nécessitant une revue humaine pour les dépôts générés par IA.