Contexte et objectifs

Le développeur a passé dix mois à créer Chessbook-1, un modèle de prédiction de coups destiné à imiter un adversaire humain sur Lichess, quel que soit le classement ou le contrôle du temps. Les modèles de référence étaient Allie 2.0 (entraînement jusqu’en août 2026) et Maia‑3 (entraînement jusqu’en juillet 2025). L’objectif principal était de fournir un bot capable de choisir des coups et de gérer le temps de façon comparable à un joueur réel, tout en restant calibré sur la force attendue à chaque bande d’Elo.

Méthodologie d’évaluation

Deux jeux de positions issus de parties Lichess de septembre 2026 ont été exploités : 30 000 positions tirées aléatoirement parmi toutes les parties classées (ultrabullet à classique), dont un tiers en bullet, et 28 000 positions issues de parties blitz, réparties uniformément de 600 à 2600 + Elo. Chaque position a été évaluée par Stockfish 18, puis chaque modèle a reçu la position, les classements des joueurs et les caractéristiques acceptées (Chessbook‑1 et Allie lisent les horloges et l’historique des coups, Maia‑3 ne lit que l’historique). Les modèles ont produit une distribution de probabilité sur les coups légaux, qui a été comparée au coup réellement joué par le joueur humain.

Résultats de prédiction et de force

En top‑1 (coup le plus probable = coup humain), Allie 2.0 dépasse légèrement les deux autres modèles dans toutes les bandes sauf les extrêmes, grâce à une taille de réseau 28 fois supérieure. Chessbook‑1 surpasse Maia‑3 sur l’ensemble des 30 000 positions, surtout en bullet et dans les dernières secondes du temps, où le jeu de Maia‑3 sort de son domaine d’entraînement. Dans le cadre blitz‑spécifique, les trois modèles affichent un quasi‑égalité : Allie 2.0 57,5 % top‑1, Maia‑3 57,3 % et Chessbook‑1 57,3 %; la probabilité moyenne attribuée au coup humain est de 27,9 % pour Allie, 27,6 % pour Maia‑3 et 27,3 % pour Chessbook‑1, les écarts restant dans la marge d’erreur statistique.

Pour mesurer la force réelle, les auteurs ont calculé la perte moyenne en centipawns et le taux de bévues sur des positions évaluées à moins de deux pions d’égalité. Chessbook‑1 suit les humains dans chaque bande, avec une déviation maximale de 9 % (18 % à 2600 + Elo). Maia‑3 et Allie 2.0 restent proches jusqu’à 1800 Elo, puis deviennent nettement plus faibles : à 2600 + Elo, leurs taux de bévues sont respectivement 63 % et 75 % supérieurs à ceux des joueurs humains. Un Stockfish limité par le classement humain montre l’effet inverse, avec moitié moins de bévues que les humains.

Gestion du temps et limites

Chessbook‑1 intègre les horloges des deux joueurs, le temps de base et l’incrément, ce qui lui permet de reproduire les comportements de « time scramble » observés chez les humains. Maia‑3, dépourvu d’entrée horloge, ne peut pas ajuster ses coups en fonction de la pression temporelle. Malgré ces avancées, le modèle reste sensible aux zones où les données d’entraînement sont rares : les parties très rapides ou les extrêmes d’Elo conservent une légère incertitude, et aucune métrique de confiance n’est fournie dans l’article.