Contexte et objectifs

Chez Anthropic, plus de 90 % du code du projet Claude Code est généré et revu par l’agent Claude. À ce volume, la capacité de l’agent à vérifier ses propres sorties devient cruciale pour éviter une surcharge humaine. Les équipes ont introduit des boucles de vérification qui permettent d’exécuter des dizaines voire des centaines d’agents en parallèle, contrairement à un modèle où chaque modification serait contrôlée manuellement.

Des tests internes sur la génération de fichiers structurés montrent qu’un évaluateur séparé, appliqué à un rubriquage, augmente le taux de réussite de jusqu’à 10 points par rapport à un simple prompt, avec un gain maximal sur les problèmes les plus complexes.

Types de tests et mise en œuvre

Le texte identifie trois catégories de tests à privilégier :

Tests end‑to‑end (E2E) : scénarios utilisateurs complets (ex. ajout d’un article au panier, passage en caisse). Ils sont peu susceptibles d’être trompés car le résultat est binaire : le flux fonctionne ou non. Les agents utilisent des outils comme CDP, des simulateurs ou des harness API pour piloter l’application.

Tests de propriétés : ils explorent les cas limites grâce à des bibliothèques de génération d’entrées telles que fast-check (JS/TS), Hypothesis (Python) ou proptest (Rust). L’idée est d’écrire une assertion supposée infaillible puis de générer des milliers d’exemples qui tentent de la contredire.

Tests différentiels : ils comparent le comportement de l’ancien système et du nouveau sur les mêmes entrées, souvent issues d’un trafic de production ou d’un générateur aléatoire. Les différences signalent un bug ou une rupture fonctionnelle. Il faut normaliser les facteurs non pertinents (ex. espaces blancs) et tenir une liste d’exemptions pour les changements attendus.

Boucles de vérification et retour d’information

Après chaque exécution de test, les résultats alimentent un mécanisme de rétro‑action : si un test échoue de façon récurrente, l’équipe ajoute une règle explicite dans le fichier CLAUDE.md ou crée un hook dans le répertoire .claude/skills/verify. Cette règle empêche l’agent de reproduire l’erreur. Le processus s’arrête automatiquement après trois itérations infructueuses, moment où un humain intervient.

Le système de vérification s’appuie sur une check‑list de fiabilité de 39 items. Chaque modification déclenche entre 3 et 10 vérifications correspondant aux déclencheurs détectés dans le diff, ce qui évite aux développeurs de mémoriser l’historique des incidents.

Limites et bonnes pratiques

Les tests peuvent présenter trois échecs fréquents : flakiness (instabilité), lenteur et poids excessif. Un test flou entraîne l’agent à le relancer sans corriger le code, tandis qu’un test lent réduit le nombre de scénarios évalués par lot, compliquant le diagnostic. Les tests lourds doivent être exécutés avant la validation finale pour ne pas retarder le pipeline.

En résumé, la combinaison d’E2E, de tests de propriétés et de tests différentiels, orchestrée par des boucles de vérification automatisées, permet à Claude Code de maintenir une cadence élevée tout en conservant une qualité comparable à une revue humaine.