Présentation
Le dépôt DishwasherBench décrit un jeu de chargement de lave‑vaisselle nommé Spotless. Il repose sur une simulation physique d’un appareil réel et s’exécute entièrement dans le navigateur. Le projet se positionne comme un benchmark destiné aux modèles de langage (LLM) afin de mesurer leur capacité à planifier et exécuter des séquences d’actions dans un environnement physique virtuel.
Architecture technique
Le code source, publié sous licence MIT, est écrit en TypeScript et exploite WebGPU pour le rendu et la simulation des contraintes mécaniques du lave‑vaisselle. WebGPU, successeur de WebGL, offre un accès bas‑niveau aux unités de traitement graphique, permettant de calculer en temps réel les collisions, la gravité et les frottements entre les objets (vaisselle, paniers, bras robotisé). Cette approche garantit une fidélité élevée par rapport au comportement d’une machine physique, tout en restant accessible via un simple navigateur sans installation supplémentaire.
Utilisation comme benchmark LLM
Le principe du benchmark consiste à fournir à un LLM une description de l’état initial du lave‑vaisselle (position des ustensiles, capacité restante, contraintes d’empilement) et à lui demander de générer une série d’instructions de chargement. Le moteur du jeu interprète ces instructions, les applique à la simulation WebGPU et renvoie un état final. La performance du modèle est évaluée en fonction de critères tels que le nombre d’étapes nécessaires, le respect des contraintes de stabilité et le taux de remplissage optimal. Le dépôt indique explicitement que le benchmark vise à « benchmark language models », mais ne publie pas de métriques chiffrées, laissant la collecte de données aux utilisateurs.
Limites et perspectives
Le principal point faible réside dans l’absence de jeux de données standardisés et de scores publiés, ce qui complique la comparaison entre différents modèles. De plus, la simulation, bien que physiquement réaliste, ne reproduit pas les variations de friction ou de poids propres à chaque modèle d’appareil, ce qui peut introduire un biais dans l’évaluation. Enfin, la dépendance à WebGPU implique que le benchmark ne fonctionne que sur les navigateurs et matériels supportant cette API, limitant son accessibilité sur certaines plateformes. Malgré ces contraintes, le projet ouvre la voie à des évaluations interactives des LLM dans des contextes physiques, un domaine encore peu exploré dans la recherche en IA.
