Contexte et objectif

Le chercheur a créé un environnement de test basé sur le simulateur officiel Pokémon Showdown, encapsulé dans une interface de type Gym. Quatre joueurs contrôlent chacun un Pokémon issu d’une équipe de trois, deux par camp, ce qui reproduit le format « doubles » (2v2) utilisé en compétition. L’objectif est de mesurer la capacité des grands modèles de langage (LLM) à collaborer, communiquer et négocier des actions, un aspect peu étudié dans les travaux multi‑agents classiques qui se concentrent sur des pipelines de tâches.

Méthodologie expérimentale

Chaque tour, un agent reçoit un résumé en anglais du combat et une liste numérotée des coups légaux. Il peut soit envoyer un message privé à son co‑équipier, soit choisir un mouvement ; le choix est ensuite communiqué à son partenaire. Quatre modes de discussion sont testés : conversation libre (les deux agents échangent jusqu’à choisir), un message chacun, aucune discussion, et un seul modèle contrôlant les deux Pokémon. Les évaluations utilisent le modèle Qwen3.8‑27B comme paire d’agents contre un bot scripté qui maximise les dégâts. Les batailles sont semées de façon identique pour chaque mode afin d’assurer une comparaison équitable.

Résultats et analyse

Le taux de victoire augmente avec la liberté d’échange : 64 % avec conversation libre, 52 % avec un message chacun, 54 % lorsqu’un seul modèle pilote les deux créatures, et 42 % sans aucune discussion. Cette progression indique que le dialogue, plus que la simple visibilité du choix du partenaire, contribue à la performance. Le coût en tokens est toutefois exponentiel : la conversation libre consomme 978 k tokens d’invite par combat, soit 3,8 × le volume de 259 k tokens observé en mode sans discussion, chaque message déclenchant une nouvelle requête au modèle qui doit relire l’état complet du combat et l’historique de la conversation.

La capacité du cadre à distinguer les modèles est confirmée par des confrontations supplémentaires : l’équipe Qwen3.8‑27B bat une équipe de modèles 2 B dans 96 % des parties, 74 % contre des modèles 9 B, et 64 % contre le bot max‑damage. La corrélation entre la puissance du modèle adverse et le taux de victoire montre que l’environnement est sensible aux différences de capacité, ce qui le rend exploitable comme benchmark.

Perspectives et limites

Les travaux futurs visent à isoler l’impact du dialogue de celui de la visibilité du mouvement du partenaire, ainsi qu’à transformer l’environnement en un benchmark public avec classement des modèles. L’auteur envisage également d’utiliser cet environnement pour un entraînement par renforcement (RL) afin d’encourager les comportements collaboratifs. Les expériences ont été menées sur le cluster Grace de Texas A&M, sous la supervision de Maria Teleki et du professeur James Caverlee, ce qui garantit une infrastructure de calcul robuste mais ne fournit pas de métriques de latence ou de consommation énergétique, limites à préciser dans les itérations suivantes.