Présentation
Les agents de codage utilisent des modèles de langage pour résoudre des tâches d'ingénierie logicielle. Cependant, on sait peu de choses sur la façon dont ces modèles représentent internement les programmes sur lesquels ils travaillent. Une étude récente a montré que les flux résiduels des modèles de langage sous les agents de codage encodent linéairement des propriétés du programme en évolution.
Fonctionnement
Les chercheurs ont utilisé une sonde de régression logistique sur les états cachés pour décoder si le code actuel analyse, passe ses tests, réduit le nombre de tests en erreur et introduit des régressions. Les résultats ont atteint un AUC de 0,83 pour la correction sur deux modèles et deux benchmarks. De plus, les représentations des modèles de langage précèdent les éditions de l'agent lui-même. Les sondes formées pour prédire le résultat des éditions futures (avant qu'elles ne soient matérialisées et écrites sur disque) ont atteint des performances supérieures au hasard jusqu'à environ 25 étapes à l'avance.
Implications et limites
Ces résultats ouvrent des appels à une recherche plus approfondie sur l'interprétabilité mécaniste des agents de codage. Les sondes ont également été capables de transférer entre les benchmarks sans réentraînement, démontrant leur validité externe. Cependant, les limites de cette étude incluent le manque de transparence sur les données utilisées et les mécanismes sous-jacents des modèles de langage.
auc = 0.83Analyse scientifique
Les résultats de cette étude sont importants car ils montrent que les agents de codage ont une capacité à raisonner sur le code qu'ils écrivent. Cela ouvre des possibilités pour améliorer la qualité et la fiabilité du code généré par les agents de codage. Cependant, il est important de noter que les mécanismes sous-jacents des modèles de langage sont encore mal compris et nécessitent une recherche plus approfondie pour être pleinement exploités.
