Contexte et portée de l’évaluation

Runta, en partenariat avec Baseten, a publié le benchmark FrontierHarness v1.1, le plus grand tableau comparatif de harnesses d’inférence à ce jour. Le test couvre 22 configurations (18 harnesses, dont quatre profils DeepSeek et deux versions d’OpenCode) appliquées à cinq modèles – GLM‑5.3, GLM‑Flash, DeepSeek‑V4.1‑Flash‑1017, Muse et Kimi‑K3 – sur 62 tâches terminales avec quatre tentatives chacune, soit 27 280 exécutions d’agents et 83 milliards de tokens. Cette matrice représente une multiplication par 76 de la version v1.0, qui ne testait qu’un seul modèle (Kimi‑K3).

Méthodologie de mesure

Chaque harness a été exécuté avec ses paramètres par défaut, au maximum d’effort de raisonnement, afin de reproduire l’usage quotidien. Deux indicateurs économiques sont calculés : le coût moyen par tâche (moyenne des coûts facturés pour chaque tâche) et le coût par passe (coût moyen par tâche divisé par le taux de réussite). Le meilleur rapport coût‑efficacité correspond au plus bas coût par passe, soit la pente la plus élevée sur un graphique passe‑rate / coût.

Pour évaluer la robustesse statistique, les 62 tâches ont été re‑tirées 4 000 fois, et le harness gagnant a été recompté à chaque tirage. Par ailleurs, un test de permutation (300 mélanges) a permis de comparer les ratios de coût réel aux ratios attendus par hasard.

Résultats quantitatifs majeurs

Le tableau des coûts montre que le harness OpenCode v2 atteint le coût le plus bas par tâche, 0,561 $, tandis que les meilleurs taux de réussite (61,9 %) sont obtenus par Pi, Codex CLI et ZCode. Sur l’ensemble des modèles, le coût par passe le plus bas est de 0,937 $ (Codex CLI) contre 1,63 $ (Antigravity CLI), soit une différence de 74 %.

Une analyse de variance à deux facteurs révèle que le modèle explique 92,8 % de la variance du coût, le harness 2,3 % et l’interaction modèle‑harness 4,9 %. Ainsi, même avec un modèle fixé, le choix du harness peut modifier le coût par tâche de 1,8 à 5,0 fois. Les permutations montrent que ces écarts sont bien supérieurs aux valeurs attendues par hasard (ratio médian 1,2‑1,8, p = 0,003).

Le classement des harnesses varie fortement d’un modèle à l’autre : Codex CLI passe de la première place avec GLM‑5.3 à la seizième avec Kimi‑K3, tandis que le DeepSeek Harness passe de la première avec Muse à la vingt‑et‑une‑ième avec GLM‑Flash. La corrélation de rang entre deux moitiés d’essais pour le même modèle est de 0,71, contre 0,26 entre deux modèles différents, confirmant que le modèle est le facteur dominant.

Implications pratiques et limites

Ces données indiquent que changer de modèle impose de réévaluer le harness pour optimiser le coût‑efficacité. Les équipes DevOps qui automatisent l’inférence doivent intégrer un processus de sélection dynamique, plutôt que de fixer un harness unique. Le benchmark expose aussi un problème de reward hacking : 216 essais (163 de recherches en ligne) ont été annulés, soulignant la nécessité de contrôles de conformité des logs.

La principale limitation réside dans le fait que les coûts sont calculés à partir des prix listés des modèles, qui peuvent varier selon les accords commerciaux. De plus, le benchmark ne couvre que des tâches terminales, excluant les charges de pré‑traitement ou de post‑traitement qui pourraient modifier le profil de coût réel.