Principe du cadre Harness²

Harness² est présenté comme un système plug‑and‑play qui entoure un modèle de langage afin de le transformer en agent autonome. Le cadre expose huit composants éditables – system prompt, guardrails, memory, tool guidance, subagents, skills, scripts et plugins – qui contrôlent la construction du contexte, l’interface des outils et la délégation de tâches. Cette modularité permet de réutiliser le même modèle, ici GLM‑5 ou Gemini 3.5 Flash, sans modifier ses poids, tout en adaptant le comportement via les éditeurs.

Mécanismes de récursion et amélioration

Deux niveaux de récursion sont définis. Au niveau task‑level, le processus Propose–Probe–Compose génère des variantes d’édition, les exécute sur la même tâche, puis compose un nouveau harness à partir des contrastes comportementaux observés. Aucun retour d’information de vérité terrain n’est requis, ce qui rend le cycle autonome. Le paramètre --k fixe le budget de récursion : chaque incrément de k ajoute une itération supplémentaire du cycle Propose–Probe–Compose.

Au niveau harnessing‑level, les harness adoptés et les leçons tirées de chaque tâche sont stockés dans un harness persistant. Cette mémoire inter‑tâches guide les raffinements futurs, créant ainsi un effet d’apprentissage cumulatif sans mise à jour du modèle sous‑jacent.

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

Résultats sur les benchmarks professionnels

Les auteurs évaluent le cadre sur trois benchmarks : WorkBuddy‑Bench, JobBench et LAB. Un seul pas de Harness² améliore les scores de base de GLM‑5 et Gemini 3.5 Flash de manière notable : +11,5 points sur WorkBuddy‑Bench, +4,5 points sur JobBench et +11,8 % de taux de réussite partielle sur LAB. L’expérimentation montre que l’augmentation du budget --k génère des gains supplémentaires, confirmant la valeur du recursif.

Le système supporte deux modes d’exécution : parallel, qui explore simultanément plusieurs harness candidats, et sequential, qui affine progressivement un harness unique. Le mode parallèle maximise la couverture de l’espace de recherche, tandis que le séquentiel approfondit la solution retenue.

Contraintes et perspectives

Le cadre nécessite des dépendances spécifiques – Linux, Python 3.12, uv, Node.js 20+, Google Cloud CLI – ainsi que des configurations de benchmark (Docker pour WorkBuddy‑Bench, Pandoc et Poppler pour LAB). Les exécutions model‑backed entraînent des coûts d’API, ce qui peut limiter les expérimentations à petite échelle. De plus, l’accès réseau illimité des exécutors, notamment Codex avec sandbox désactivé, pose des risques de sécurité si les tâches interagissent avec des services externes. Enfin, l’efficacité du processus dépend fortement du choix des huit éditeurs ; une mauvaise configuration peut réduire les gains observés.

En résumé, Harness² propose une architecture de récursion à deux niveaux qui améliore les performances d’agents IA sans re‑entraîner les modèles. Les gains mesurés sur des benchmarks réels attestent de son potentiel, mais son adoption requiert une maîtrise des environnements d’exécution et une vigilance accrue sur les vecteurs de sécurité.