Présentation d'Orca-Bench

Les grands modèles de langage peuvent écrire, corriger et rechercher du code, mais l'analyse de cause racine (RCA) nécessite une approche différente : raisonnement sur des métriques bruyantes, des journaux, des traces et du code source, à partir de rapports utilisateur ambigus, souvent des heures après le début de l'incident. Orca-Bench est un référentiel qui place des agents de codage à usage général dans un environnement de production réaliste.

Fonctionnement d'Orca-Bench

Orca-Bench associe un système de microservices instrumenté avec OpenTelemetry, exposant six jours de métriques, de journaux et de traces via des interfaces de télémétrie réelles (Prometheus, Jaeger et OpenSearch via Grafana) et un accès complet au code source, à 1 079 tâches d'analyse de cause racine qui varient systématiquement la spécificité des rapports, le temps de détection et les scénarios de défaillance concomitants. Les symptômes réels sont curés et validés par des experts SRE, et notre juge LLM est réévalué de manière indépendante par des humains (Cohen's κw = 0,90).

Évaluation des performances

Au sein de cinq agents de pointe, la meilleure précision d'analyse de cause racine est de 25,3 % pour les tâches de difficulté moyenne (paramètre d'entrée réaliste) et de 10,0 % pour les tâches difficiles, un écart qui persiste même avec Claude Fable 5. Le modèle le plus faible hallucine une cause racine implausible dans 40 % des rapports d'incident, et la suppression de l'accès au code source dégrade toutes les métriques. Il est crucial de noter que ces performances sont obtenues sur un référentiel de test de 50 Go / six jours avec des tâches investiguées en isolation sur un système dont le code et l'instrumentation sont publics.

Implications et limites

Puisque les systèmes de production réels sont de plusieurs ordres de grandeur plus importants, plus dynamiques et plus idiosyncratiques, l'écart que nous rapportons constitue une borne inférieure de l'investissement d'ingénierie requis avant que les agents de codage de pointe puissent être confiés en toute sécurité à la fiabilité de production. Nous rendons le jeu de données public disponible à cette URL.

https://github.com/...