Introduction

Une nouvelle étude de l'ETH Zurich remet en question l'utilité des fichiers AGENTS.md pour la programmation IA. Les chercheurs recommandent d'omettre les fichiers de contexte générés par les modèles de langage et de limiter les instructions écrites par l'homme aux détails non inférables.

Contexte Technique

Les chercheurs ont créé un nouveau jeu de données appelé AGENTbench, composé de 138 tâches Python réelles issues de dépôts de niche. Ils ont testé quatre agents (Claude 3.5 Sonnet, Codex GPT-5.2 et GPT-5.1 mini, et Qwen Code) dans trois scénarios distincts : sans fichier de contexte, avec un fichier généré par un modèle de langage et avec un fichier écrit par l'homme.

Les résultats ont montré que les fichiers de contexte générés par les modèles de langage dégradent les performances, réduisant le taux de réussite des tâches de 3 % en moyenne par rapport à l'absence de fichier de contexte. Les fichiers écrits par l'homme ont offert des gains marginaux, avec une augmentation moyenne de 4 % du taux de réussite des tâches.

Analyse et Implications

L'étude a révélé que les fichiers de contexte augmentent le nombre d'étapes requises pour compléter les tâches, ce qui entraîne une augmentation des coûts d'inférence. Les instructions contenues dans les fichiers de contexte sont généralement suivies par les agents, mais elles ne fonctionnent pas comme des vues d'ensemble efficaces du dépôt.

Les résultats de l'étude soulignent un écart entre les recommandations actuelles pour les développeurs utilisant des agents de code IA et les résultats observés. Les développeurs ont réagi avec intérêt à l'étude, notant que les fichiers de contexte peuvent être plus utiles pour les développeurs que pour les agents de code IA.

Perspective

L'étude souligne la nécessité de recherches futures sur des méthodes pour générer automatiquement des conseils concis et pertinents pour les agents de code IA. Les développeurs devraient se concentrer sur la rédaction de fichiers de contexte utiles qui fournissent des informations non inférables sur le code et le dépôt.