Contexte et benchmark

IBM Research a comparé trois harnesses d’agents – CUGA, Hermes (Nous Research) et Deep Agents (LangChain) – en conservant le même modèle ouvert GLM-5.3-flash. Les tests portent sur le benchmark AppWorld, qui comprend 90 tâches réparties sur 30 scénarios couvrant neuf applications et 457 API (email, paiements, stockage de fichiers, etc.). Chaque tâche a été exécutée une seule fois, et l’évaluation a été réalisée avec le framework Harbor (fork public 

harbor-eval
).

Impact du harness sur les performances

Le changement de harness a entraîné une variation du taux de tâches réussies de 30 % à 81 %. CUGA a atteint 81 % de réussite, Hermes 30 % et Deep Agents 52 % (taux de tâches). L’indicateur le plus pertinent, le nombre de scénarios complets (SGC), montre 20 scénarios réussis pour CUGA, 8 pour Hermes et seulement 2 pour Deep Agents, soulignant la constance du premier harness.

Ces écarts proviennent exclusivement du harness, le modèle restant identique. Le même phénomène a été observé avec le modèle GLM‑5.2 sur le benchmark SWE‑bench Pro, où le taux est passé de 23 % à 52 % selon le harness utilisé.

Architecture et couche de politiques de CUGA

CUGA (ConfigUrable Generalist Agent) fonctionne selon une boucle compacte : préparation, appel du modèle, exécution, puis répétition. Cette boucle s’étend d’un seul CugaAgent à un CugaSupervisor capable de coordonner plusieurs agents, locaux ou distants via A2A. Le harness intervient à chaque étape, réduisant le nombre de décisions prises par le modèle et interceptant les erreurs avant qu’elles n’affectent le résultat final.

Une couche de politiques, décrite dans le papier ACM CAIS 2026 « Governance by Construction for Generalist Agents », déplace les règles métier du prompt vers le runtime. Les politiques s’appliquent à quatre points du cycle : guidage du modèle, approbations, garde‑outils (ToolGuards) et validation finale. Par exemple, pour la consigne « Pay everything I owe. », l’agent sans politiques a déboursé 90 $, incluant une réclamation refusée, alors que l’agent avec politiques a retenu le paiement jusqu’à approbation, ne réglant que les 10 $ dus.

Limites et perspectives

Les résultats reposent sur un échantillon de 90 tâches d’un seul benchmark, ce qui limite la généralisation à d’autres domaines. De plus, les configurations des trois harnesses n’étaient pas strictement identiques, et les tests n’incluaient pas de politiques, donc l’impact de l’application de règles n’est pas quantifié ici.

Pour les entreprises, CUGA propose un déploiement souverain (clouds privés, environnements air‑gapped) et une gouvernance explicite, ce qui le rend adapté aux flux de travail automatisés nécessitant le respect de règles de conformité et de protection des données. Hermes et Deep Agents restent pertinents pour des assistants personnels toujours actifs ou des tâches de recherche multi‑étapes, respectivement, mais ne sont pas optimisés pour l’automatisation d’applications d’entreprise à grande échelle.