Contexte et méthodologie
Sixteen large language models (LLMs) ont été confrontés aux 55 énigmes du jeu de programmation TIS‑100, plus huit puzzles de tournoi communautaire. Chaque modèle a disposé de 10 à 45 minutes par puzzle, selon la difficulté, pour produire une solution fonctionnelle (pass@1) puis l’améliorer. Le score combine cycles, nœuds et instructions, et les modèles reçoivent uniquement le manuel, les entrées de test visibles et les diagnostics du jeu : sorties erronées, blocages de ports ou deadlocks. Un système de rappel incite les modèles à poursuivre les essais tant que le temps imparti n’est pas écoulé.
Résultats quantitatifs
Opus 5.5 et GPT‑6 Astra ont résolu les 55 puzzles et découvert de nouveaux points de frontière sur 11 d’entre eux. Opus 5.5 a généré 72 points contre 32 pour GPT‑6 Astra, tandis que la proximité moyenne aux records communautaires était de 78,0 % pour GPT‑6 Astra et 77,2 % pour Opus 5.5 (intervalle bootstrap 95 % : –0,7 à +2,4). Sur les six réglages d’hypervolume, GPT‑6 Astra domine tous les modèles, indiquant une meilleure couverture des compromis cycles/nœuds/instructions. Le coût estimé par puzzle varie fortement : GPT‑6.1 Sol dépense 0,75 $, Opus 5.5 5,08 $ (sept fois plus) et Fable 5.1 7,19 $, alors que les proximités restent proches (75,6 % à 70,2 %). Le nombre moyen d’appels au jeu par puzzle est de 136 pour GPT‑6.1 Sol et 41 pour Gemini 4 Argon, montrant que l’activité ne prédit pas la qualité.
Analyse des optimisations
Sur le puzzle « Undecimal Twin Rounder », le record communautaire était de 2 694 cycles. Opus 5.5 a d’abord atteint 5 669 cycles après 6,5 minutes, puis a réduit le temps à 1 918 cycles (29 % plus rapide) en échange d’un nœud supplémentaire et de 28 instructions additionnelles. La technique repose sur une recherche à deux vitesses : les nœuds 5 et 6 soustraient 4 N jusqu’à dépassement, puis ajoutent N jusqu’à positivité, en pilotant des coprocesseurs via des sauts JRO. Dans le puzzle de multiplication, Gemini 4 Argon utilise JRO pour répéter un bloc d’instructions, atteignant 436 cycles contre 523 cycles pour GPT‑6 Astra, au prix de deux nœuds et 33 instructions supplémentaires. Pour le filtre de fenêtre, Gemini 4 Argon exploite SWP, ADD et SUB sur quatre nœuds, alors que GPT‑6.1 Sol répartit le calcul sur sept nœuds, obtenant 318 cycles avec 26 instructions contre 428 cycles pour Gemini 4 Argon.
Limites et perspectives
Les nouveaux points de frontière se concentrent sur les puzzles difficiles : 14 sur des énigmes dures, 4 sur des moyennes, aucune sur les faciles. Les puzzles à faible record de cycles (<200) voient 88 % de succès mais seulement 4 % de nouveaux points, contre 76 % de succès et 8 % de nouveaux points au‑delà de 500 cycles, indiquant que la marge d’amélioration augmente avec la complexité. Les modèles sont généralement plus proches des records communautaires sur les nœuds (moyenne 72 %) que sur les cycles (moyenne 45 %). L’absence d’accès au code communautaire et aux scores détaillés limite la capacité des LLMs à reproduire les meilleures stratégies, suggérant que l’intégration de données de référence plus fines pourrait améliorer les performances futures.
