Contexte et principes de l’automatisation
Depuis les années 1950, les premiers programmes d’intelligence artificielle suivaient des règles écrites à la main. Un exemple connu est le programme d’IBM qui jouait aux dames et s’améliorait en s’affrontant lui‑même. Cette capacité à auto‑évaluer a montré que la performance dépend d’un mécanisme de score fiable.
Vérificateur’s law et notion de grading
Jason Wei a formulé la « verifier’s law » : plus une tâche est facile à vérifier, plus il est simple d’entraîner une IA à la réaliser. La vérification repose sur trois éléments – existence d’une réponse correcte, capacité à la mesurer de façon reproductible, et possibilité d’automatiser le calcul à grande vitesse. L’auteur regroupe ces critères sous le terme grading.
Dans un test personnel, la création d’un clone vocal a nécessité quelques heures de travail et environ 5 $ de crédits de calcul. Le modèle, open‑source, s’exécute ensuite localement sur un MacBook, illustrant un processus de grading complet : le résultat est comparé à la voix de référence et la différence est quantifiée automatiquement.
Impact sur le développement logiciel
Le code est l’un des travaux les plus « graded ». Il compile ou non, les tests passent ou échouent, et l’évaluation se fait en secondes sur du matériel ordinaire. Cette caractéristique place le développement logiciel dans le quadrant où la valeur est élevée et le grading est possible. Les systèmes de CI/CD exploitent exactement ce principe : ils mesurent la conformité du code à des critères définis et rejettent les builds qui ne les respectent pas.
En pratique, les modèles de génération de code peuvent être évalués par des tests unitaires automatisés. Si le test renvoie un succès, le modèle a produit une sortie jugée correcte selon les critères du projet. Cette boucle de feedback rapide accélère la production, mais elle ne garantit pas l’absence de défauts logiques non couverts par les tests.
Limites et perspectives
Des tâches où la valeur est élevée mais le grading est impossible – par exemple la poésie ou l’éducation parentale – restent hors de portée des systèmes actuels. La qualité subjective ne se résume pas à un score numérique, et aucune métrique fiable ne permet de la mesurer automatiquement. Ainsi, même si l’IA progresse dans les domaines où le résultat est binaire, elle rencontre des barrières structurelles dès que l’évaluation nécessite un jugement humain.
Le cadre proposé indique que l’avenir de l’automatisation dépendra davantage de la capacité à définir des critères de vérification que de la puissance de calcul disponible. Tant que les métiers ne pourront pas être traduits en scores objectifs, ils résisteront à l’assaut des modèles d’IA.