Benzi dépasse les harnesses traditionnels en résolution de bugs à moindre coût

Présentation

Benzi propose un harness d’intelligence artificielle dédié à la correction de bugs. Le tableau de bord public compare ce harness à trois solutions concurrentes (Claude Code, Sonnet et DeepSeek) sur un même jeu de 24 problèmes issus de GitHub, couvrant dix langages de programmation. Sur un sous‑ensemble de 500 tickets réels, Benzi a résolu 78,2 % des incidents pour moins de 0,10 $ par correction.

Comparaison technique

Les mesures s’appuient sur deux axes : le nombre de lignes réellement lues depuis le système de fichiers (lines read) et le temps d’exécution (wall clock). La difficulté d’un bug est quantifiée par le « turn count » de Claude Code, un indicateur externe qui ne dépend d’aucun harness. Chaque point du graphique représente la meilleure exécution enregistrée pour le bug concerné ; les exécutions non résolues sont exclues. Le slope indique le nombre de lignes supplémentaires ouvertes par unité de difficulté. Le vert indique la valeur la plus basse parmi les quatre harnesses pour chaque bug, soulignant la supériorité relative de Benzi sur la plupart des cas.

Analyse des coûts et performances

Les coûts sont calculés à partir des tarifs publiés par modèle, exprimés en per‑token. DeepSeek bénéficie d’un facteur de ≈ 20 de réduction de prix par token, ce qui explique son positionnement bas sur l’axe monétaire. Toutefois, le slope montre que le coût de Claude Code augmente plus rapidement avec la difficulté que les autres séries, y compris Benzi. En termes de temps, les valeurs de wall clock pour Benzi incluent le temps de construction d’index par dépôt, ce qui les rend légèrement supérieures aux mesures « warm » présentées ailleurs. Malgré ce léger surcoût temporel, Benzi conserve la meilleure efficacité linéaire, ouvrant moins de lignes supplémentaires à chaque incrément de difficulté.

Limitations et perspectives

Deux points d’absence sont notés : le harness Sonnet n’a jamais résolu le bug http-parser, et le harness DeepSeek n’a pas exécuté nats-server. Ces lacunes réduisent la densité des données pour les séries concernées et peuvent biaiser les ajustements de courbe. De plus, la métrique de difficulté repose exclusivement sur Claude Code, ce qui introduit une dépendance à un modèle tiers et limite la généralisation du résultat à d’autres critères de complexité. Enfin, le calcul du coût ignore les frais d’infrastructure hors token, tels que le stockage ou le réseau, qui pourraient affecter la comparaison économique à grande échelle.