Introduction
L'évaluation de l'utilité des agents IA dans le monde réel à partir de scores de benchmarks est souvent incertaine. Les benchmarks sont conçus pour être propres et vérifiables, mais le monde réel est plus complexe. Pour étudier cette question, nous avons analysé les décisions de merge de 4 maintainers de 3 dépôts SWE-bench Verified sur 296 pull requests générées par IA.
Contexte Technique
Nous avons utilisé les scores SWE-bench Verified pour évaluer les performances des agents IA. Les maintainers ont revu les pull requests et ont fourni les raisons pour lesquelles ils les acceptaient ou les rejetaient. Nous avons également enregistré les décisions de merge pour 47 pull requests écrites par des humains et intégrées dans le dépôt principal.
Nos résultats montrent que les décisions de merge des maintainers sont en moyenne 24 points de pourcentage inférieures aux scores SWE-bench. De plus, le taux d'amélioration des agents IA est de 9,6 points de pourcentage par an plus lent pour les décisions de merge des maintainers.
Analyse et Implications
Nos résultats suggèrent que les benchmarks ne reflètent pas nécessairement l'utilité réelle des agents IA dans le monde réel. Les agents IA peuvent avoir des difficultés à résoudre des problèmes complexes et à suivre les normes des dépôts. Cependant, nous ne prétendons pas que les agents IA ont des limitations fondamentales qui les empêchent de passer les revues des maintainers.
Il est important de noter que les agents IA ne sont pas donnés la chance de s'améliorer en réponse aux feedbacks, contrairement aux développeurs humains. Nos résultats montrent que les benchmarks doivent être interprétés avec prudence et que les prévisions de progrès de l'IA et de son impact réel doivent prendre en compte d'autres facteurs.
Perspective
Nos résultats soulignent la nécessité de développer des méthodes plus précises pour évaluer l'utilité des agents IA dans le monde réel. Les futurs travaux devraient se concentrer sur la création de benchmarks plus réalistes et sur l'amélioration de la capacité des agents IA à résoudre des problèmes complexes et à suivre les normes des dépôts.
