Présentation du benchmark
StarSkirmish v0.2 mesure la capacité d’un grand modèle de langage (LLM) à générer, en une heure, un bot Protoss fonctionnel pour StarCraft : Brood War. Chaque modèle reçoit un squelette C++ compatible avec BWAPI 4.4.0 et OpenBW, ainsi que le code source de trois bots de démonstration et deux bibliothèques standards (FAP et BWEM). Le bot final doit compiler et être jouable à la fin du temps imparti.
Méthodologie d’évaluation
Les bots produits sont évalués contre un roster fixe de 13 bots humains compétitifs, 10 bots humains additionnels et 3 bots de démonstration, sur trois cartes ladder (Heartbreak Ridge, Benzene, Destination). Chaque combinaison joue six parties avec des graines aléatoires différentes. Le score affiché est le taux de victoire moyen (0‑100) sur les 5 exécutions du modèle. Aucun bot LLM ne s’affronte, ce qui garantit la comparabilité entre générations de modèles.
Le benchmark utilise le CLI natif de chaque laboratoire (Claude Code 2.1.296, Codex 0.162.1, Antigravity CLI 1.3.5, Muse Code 1.4.7). Le contexte est limité à ~250 k tokens ; au‑delà, le CLI compresse le dialogue. Les outils de recherche web sont désactivés et aucune connexion internet n’est disponible pendant l’heure.
Résultats principaux
Le modèle GPT‑6 Astra obtient le meilleur taux de victoire, suivi de GPT‑6.1 Sol. Gemini 4 Argon se place troisième avec un score compris entre 37 % et 39 %, à égalité fonctionnelle avec Claude Opus 5.5 et Claude Fable 5.1. La variance intra‑modèle est notable : Gemini 4 Argon montre un écart de 18 points entre sa meilleure et sa pire exécution, contre 9 points pour GPT‑6 Astra.
Le facteur le plus corrélé au score est le nombre de parties d’entraînement contre les sept bots les plus forts du roster. Les modèles qui commencent tôt à affronter ces adversaires (GPT‑6 Astra, GPT‑6.1 Sol, Gemini 4 Argon) obtiennent les meilleurs scores, alors que d’autres (Muse Wonder Full, Claude Haiku 5.5, GPT‑6 Luna) pratiquent rarement contre les bots de niveau A ou S.
En termes de coût, GPT‑6.1 Sol offre le meilleur rapport qualité‑prix : il se situe dans le quadrant le plus attractif, avec un coût par exécution inférieur à un dixième de celui de GPT‑6 Astra tout en conservant le deuxième meilleur score.
Limites et perspectives
Les bots humains les plus performants (Stardust, PurpleWave, BananaBrain) restent largement supérieurs : même le meilleur modèle ne gagne que 7 % de ses parties contre eux. Le benchmark ne capture pas les dynamiques de tournoi réel, où les cartes, le nombre de joueurs et les contraintes de temps diffèrent. De plus, l’absence de comparaison directe entre bots LLM limite l’évaluation de la robustesse des stratégies générées.
Enfin, la corrélation avec d’autres évaluations (Artificial Analysis Intelligence Index, Terminal‑Bench 4.0) est faible (ρ≈0.26), indiquant que StarSkirmish mesure un aspect très spécifique de la programmation agentique, principalement la capacité à itérer rapidement sous contrainte de temps.
