Senior SWE-Bench : l'évaluation des agents comme ingénieurs seniors

Introduction

Senior SWE-Bench est un benchmark open-source qui évalue les agents comme des ingénieurs seniors. Il s'agit d'un outil conçu pour mesurer les capacités des agents à résoudre des tâches complexes, similaires à celles que les ingénieurs seniors rencontrent dans leur travail quotidien.

Contexte Technique

Senior SWE-Bench se démarque des autres benchmarks par ses tâches plus réalistes et plus complexes. Les instructions sont écrites de manière naturelle, sans spécifications excessives, et les tâches peuvent nécessiter des investigations en temps d'exécution. Les agents sont évalués en fonction de leur capacité à résoudre des bogues, à implémenter des fonctionnalités et à écrire du code de qualité.

Le benchmark utilise un agent de validation qui utilise des recettes conçues par des experts pour écrire des tests de comportement qui s'adaptent aux solutions soumises. Les tâches sont issues de demandes de tirage (PR) qui ont nécessité une investigation en temps d'exécution significative pour être résolues.

Analyse et Implications

Les résultats du benchmark montrent que les modèles frontières les plus performants échouent à compléter les tâches avec une correction et un goût de niveau senior plus de 75% du temps. Cela souligne les limites actuelles des agents et la nécessité de poursuivre les recherches pour améliorer leurs capacités.

Les tâches de Senior SWE-Bench sont conçues pour être plus réalistes et plus complexes que celles des autres benchmarks. Elles peuvent nécessiter des investigations en temps d'exécution, des débogages et des tests de comportement. Les agents sont évalués en fonction de leur capacité à résoudre des problèmes de manière efficace et efficiente.

Perspective

Senior SWE-Bench offre une perspective unique sur les capacités des agents à résoudre des tâches complexes. Il souligne la nécessité de poursuivre les recherches pour améliorer les capacités des agents et les rendre plus efficaces dans leur travail. Les résultats du benchmark peuvent être utilisés pour identifier les domaines où les agents ont besoin d'amélioration et pour développer de nouvelles stratégies pour améliorer leurs performances.