Introduction
Thousand Token Wood est un projet de simulation économique multi-agents basé sur un modèle de langage de 3 milliards de paramètres. Le projet vise à créer une économie miniature où cinq créatures de la forêt, chacune représentant un agent, échangent des biens contre des cailloux, des ragots, des réserves et des paniques.
Contexte Technique
Le modèle est servi avec vLLM sur Modal et une application Gradio sert de fenêtre sur le bois. La simulation nécessite de nombreux agents qui prennent des décisions à plusieurs reprises par tour, ce qui rend un modèle de pointe trop lent et coûteux. Un modèle plus petit est donc utilisé pour rendre la simulation en temps réel possible.
Les créatures prennent des décisions en un seul appel batché GPU par tour. Cependant, la version initiale ne fonctionnait pas car la production dépassait la consommation, ce qui signifiait que chaque créature était autosuffisante et n'avait jamais de raison de commercer.
Analyse et Implications
La solution a été d'ingénier la rareté en introduisant des mécanismes tels que la variété de l'alimentation, la détérioration des aliments et une crise de carburant hivernal. Ces mécanismes ont conduit à des bulles, des krachs et un écart de richesse croissant.
Le modèle a émis des jugements économiques de mauvaise qualité, mais la qualité de la décision a augmenté avec l'utilisation d'une invite plus précise. Les créatures ont commencé à commercer en fonction de leurs rôles et la simulation a été enveloppée d'une couche de parseur et de réparation JSON tolérante.
Perspective
Le projet démontre que les petits modèles peuvent être utilisés pour créer des simulations économiques complexes et que l'ingénierie de la rareté est essentielle pour créer des systèmes émergents. Les leçons tirées de ce projet peuvent être appliquées à d'autres domaines tels que la finance et l'économie.
Le projet est ouvert et les traces des agents sont disponibles, permettant aux utilisateurs de comprendre les raisonnements derrière chaque mouvement. Les petits modèles peuvent conduire à de grandes aventures et Thousand Token Wood en est un exemple.
