Introduction
L'utilisation de fichiers de contexte tels que AGENTS.md pour personnaliser les agents de codage dans les dépôts de logiciels est une pratique courante. Cependant, il n'existe pas d'étude approfondie sur l'efficacité de ces fichiers pour les tâches du monde réel. Cette étude vise à évaluer les performances des agents de codage avec et sans fichiers de contexte.
Contexte Technique
Les agents de codage utilisent des fichiers de contexte pour comprendre le contexte d'un dépôt et effectuer des tâches de codage. Les fichiers AGENTS.md sont générés manuellement ou automatiquement pour fournir des informations sur le dépôt. Les auteurs de cette étude ont évalué les performances de plusieurs agents de codage avec des fichiers de contexte générés par des modèles de langage (LLM) et des fichiers de contexte fournis par les développeurs.
Analyse et Implications
Les résultats de l'étude montrent que les fichiers de contexte tendent à réduire les taux de réussite des tâches et à augmenter les coûts d'inférence. Les fichiers de contexte générés par les LLM et ceux fournis par les développeurs encouragent une exploration plus large, mais les agents de codage ont tendance à respecter les instructions contenues dans ces fichiers. Les auteurs concluent que les exigences inutiles contenues dans les fichiers de contexte rendent les tâches plus difficiles et que les fichiers de contexte devraient ne décrire que les exigences minimales.
Perspective
Les résultats de cette étude soulignent l'importance de réévaluer l'utilisation des fichiers de contexte dans la programmation d'agents. Les développeurs devraient être conscients des limites et des risques potentiels liés à l'utilisation de ces fichiers. Il est nécessaire de poursuivre les recherches pour améliorer la compréhension de l'efficacité des fichiers de contexte et pour développer des méthodes plus efficaces pour personnaliser les agents de codage.
