Real‑SWE évalue les modèles d'IA sur des bases de code d'entreprise privées

Contexte et objectifs du benchmark

Real‑SWE a été lancé pour mesurer la capacité des modèles d'IA de pointe à intervenir dans des environnements de production réels. Chaque tâche provient d’une base de code propriétaire, obtenue sous licence auprès d’une société réelle, et reflète les exigences concrètes des ingénieurs en service. L’objectif est de vérifier si un agent de codage peut réellement remplacer un développeur dans des scénarios où le code, les outils et les règles métier sont spécifiques à l’entreprise.

Architecture de l’évaluation

Les évaluations ne portent pas uniquement sur le modèle, mais sur la combinaison modèle‑harness. Un harness natif reproduit les flux de travail d’ingénierie d’entreprise : accès à des services AWS émulateurs, Docker, Kubernetes, bases de données (PostgreSQL, MySQL, MongoDB, Redis) et plateformes de suivi (GitHub, Linear, Slack). Les tâches exigent des modifications qui traversent plusieurs fichiers et services, par exemple la correction d’un module de facturation TaxJar intégré à un service NestJS écrit en TypeScript. Cette configuration oblige l’agent à comprendre le code existant, les appels d’API externes et les contraintes d’infrastructure.

Données techniques et résultats

Le benchmark comprend des projets variés : un concurrent de Luma/Partiful avec plus de 200 000 utilisateurs et un classement Top 100 sur l’App Store, une fintech consommateur traitant plus de 100 000 relevés bancaires, et une plateforme d’IA d’entreprise gérant des flux de travail complexes. Les tâches représentent 99 % de tokens qui ne sont jamais exposés aux modèles d’IA, ce qui les place hors du domaine d’entraînement habituel. Les résultats montrent que 71,4 % des déploiements de moins de 10 minutes échouent, contre 73,4 % pour les déploiements plus longs, indiquant que la durée d’exécution n’est pas le facteur déterminant de la réussite.

Analyse des limites et perspectives

Les échecs les plus fréquents concernent des exigences manquées : les agents omettent souvent des règles métier spécifiques, comme la prise en compte d’exemptions fiscales ou la validation d’adresses auprès d’un service d’autorité fiscale. Cette faiblesse reflète une difficulté à absorber les conventions de codage propres à chaque entreprise. De plus, l’absence de visibilité sur le code source public empêche les modèles de s’appuyer sur des exemples similaires, réduisant leur capacité à généraliser. Enfin, le benchmark ne fournit pas de métriques de performance au-delà du taux de réussite, ce qui limite l’évaluation des aspects qualitatifs tels que la lisibilité du code généré ou le respect des standards internes.