Contexte et objectif

L’évaluation de la programmation automatisée repose souvent sur des modèles propriétaires très coûteux. Le benchmark LiveCodeBench, qui propose 100 problèmes de codage récents, sert de référence pour mesurer la capacité pass@1 des modèles. L’étude examine comment Qwen3.8‑Flash Next et Qwen3.8‑27B peuvent atteindre des scores comparables aux solutions commerciales tout en réduisant drastiquement les dépenses d’inférence.

Méthode d’orchestration zéro-shot

Les auteurs introduisent une orchestration zéro-shot basée sur un registre : plusieurs instances fraîches d’un même modèle sont lancées simultanément. Chaque instance reçoit une sous‑tâche, consigne son avancement dans un système de fichiers partagé (plan, notes, solution partielle) et lit les contributions des autres agents. Aucun entraînement supplémentaire n’est requis, le processus repose uniquement sur la capacité du modèle à raisonner de façon autonome. Le partage de contexte persistant permet de découper les problèmes complexes en étapes plus simples, limitant ainsi les erreurs de dérivation.

Résultats expérimentaux

Sur les 11 modèles testés (poids ouverts et fermés), les gains varient : le meilleur progrès atteint 25,6 points de pourcentage sur des back‑ends « pinned ». Qwen3.8‑Flash Next obtient 93,0 % pass@1 contre 90,4 % pour le score de référence Fable 5, tout en consommant seulement 9 % du coûtQwen3.8‑27B progresse de 66,8 % à 92,4 %. Certains modèles, toutefois, restent inchangés ou affichent une légère régression, soulignant que l’efficacité dépend de la capacité du modèle à exploiter le découpage de tâches.

Analyse des limites et perspectives

La décomposition améliore la précision lorsqu’elle réduit la profondeur de recherche du modèle, mais elle impose une surcharge de synchronisation via le système de fichiers. Cette surcharge devient critique si le nombre d’agents augmente ou si le stockage partagé présente une latence élevée. De plus, l’absence d’entraînement dédié signifie que les modèles qui ne gèrent pas naturellement la persistance de contexte ne tirent aucun bénéfice. Les auteurs suggèrent d’explorer des registres plus structurés (bases de données légères) ou des protocoles de communication à faible latence pour étendre la méthode à des scénarios à plus grande échelle.

cd codebase/v2-current
export OPENAI_API_KEY=...
LCB_RELEASE=release_v6 \
ESCALATION_CLOUD_MAX_TOKENS=128000 \
ESCALATION_CLOUD_TIMEOUT=7200 \
MULTIAGENT_MODEL=openai:gpt-5.6-terra \
uv run --no-project --python 3.12 --with 'datasets<4' --with numpy --with anthropic \
  python escalation/run_bench.py --engine multiagent --only lcb --lcb 100 --parallel 8
# --engine multiagent lance le manager ; --engine single exécute le baseline monolithique.
# Autres modèles : anthropic:, dashscope:, openrouter: avec leurs *_API_KEY.
# Les scores pass@1 s’affichent à la fin, résultats dans runs/results.json.