Contexte et objectif

Les modèles de grande taille, comme Qwen3.8‑27B, sont généralement entraînés pour offrir une performance « générale ». Lorsqu’ils sont couplés à un harness (enveloppe d’exécution) spécifique, une partie du potentiel reste inutilisée. L’article décrit la création d’adaptateurs de harnais entraînés par renforcement (RL) afin d’ajuster le modèle à trois environnements : Pi 1.5.2, OpenCode 2.2.7 et Hermes Agent v0.22.6, et ainsi améliorer à la fois la précision et l’efficacité.

Méthodologie d’entraînement

Pour chaque harnais, les auteurs ont gelé les poids du modèle de base et ajouté un adaptateur LoRA entraîné avec TRL via AsyncGRPOTrainer et OpenEnv. Les tâches d’entraînement proviennent de trois sources : SWE‑smith (injection de bugs dans des dépôts Python/Go), SWE‑Gym (issues GitHub réelles) et Tasksmith (génération à partir de pull‑requests fusionnées). Sur les 1 127 tâches candidates du Hub, 858 ont passé les contrôles d’éligibilité et de validation (openenv validate), dont 30 issues sélectionnées pour couvrir des compétences comme le streaming HTTP ou la sérialisation.

openenv validate path/to/task --sandbox hf-sandbox

Chaque tâche a été évaluée par un vérificateur s’assurant que la solution de référence obtient la récompense maximale (semantic.oracle_max) et que les réponses incorrectes obtiennent une récompense nettement inférieure (semantic.floor_gap).

Résultats de performance

Sur le benchmark Terminal‑Bench 2.1 avec le harnais Pi, le modèle de base atteignait 39 % de pass@1 en consommant en moyenne 2 900 tokens par tâche. Après l’ajout d’un adaptateur LoRA entraîné en RL, le score est passé à 55 % avec seulement 1 500 tokens moyens, soit une réduction de 48 % de la consommation de tokens. Cette amélioration provient d’un raisonnement plus concis, d’une utilisation réduite des outils et d’une meilleure capacité à résoudre la tâche du premier coup.

Les mêmes gains de précision et d’efficacité ont été observés pour les harnais OpenCode et Hermes Agent. De plus, les trois adaptateurs LoRA ont été fusionnés en un « super‑adapter » capable de fonctionner sans modification supplémentaire sous les trois harnais, démontrant la transférabilité du procédé.

Analyse des limites et perspectives

Bien que les résultats soient prometteurs, l’étude dépend fortement de la qualité du jeu de tâches. Les filtres appliqués ont éliminé près de 75 % des tâches initiales, et les contrôles d’infrastructure (images Docker qui ne démarraient pas) ont conduit à des rejets supplémentaires. De plus, les gains mesurés sont spécifiques aux benchmarks utilisés ; d’autres charges de travail pourraient ne pas reproduire la même amélioration. Enfin, le processus nécessite des ressources importantes (jobs Hugging Face, Docker avec harnais pré‑installés), ce qui peut limiter l’adoption par des équipes disposant de moins de capacité de calcul.

En résumé, les adaptateurs de harnais offrent une voie efficace pour exploiter pleinement les capacités d’un LLM lorsqu’il est déployé dans un environnement d’exécution ciblé, tout en soulignant l’importance d’une pipeline de données rigoureuse et d’une validation stricte des tâches.