Présentation
ToyBlocks est le premier FoundationWorld publié par Allen Institute for AI. Il s’agit d’un simulateur ouvert centré sur un bras robotique manipulant des blocs sur une table. Le cadre se veut volontairement restreint : les blocs portent des lettres ou des images, ce qui permet d’explorer des tâches de recherche, de tri et d’arrangement tout en conservant la complexité physique du contact, du poussage et du retournement.
Le projet s’appuie sur les travaux antérieurs MolmoAct 2, MolmoBot et MolmoSpaces, et vise à fournir une plateforme où chaque variable (taille des blocs, hauteur de la table, friction) peut être modifiée de façon systématique.
Architecture et génération de données
Le moteur de simulation repose sur Isaac Lab, le framework open‑source de Nvidia dédié à l’apprentissage robotique. Les compétences de courte durée (pushing, flipping, pick‑and‑place) sont apprises par reinforcement learning et par motion planning. Le processus exploite des informations privilégiées du simulateur – position exacte et orientation des blocs – pour accélérer l’apprentissage, ce qui serait impossible avec uniquement des images réelles.
Une fois les compétences entraînées, un task‑and‑motion planner (TAMP) assemble automatiquement les séquences nécessaires à la résolution d’une tâche donnée. Chaque plan est exécuté en simulation, générant ainsi des démonstrations annotées (trajectoires, compétences invoquées, forces exercées). Le générateur de données fonctionne en parallèle sur un seul GPU et atteint jusqu’à 24 fois la vitesse temps réel, ce qui permet de produire des centaines de plans en quelques minutes.
Le système intègre également une randomisation de domaine : la taille des blocs, la hauteur de la table et d’autres propriétés physiques varient d’une scène à l’autre. Cette variation teste la capacité des modèles à généraliser lorsqu’ils rencontrent des géométries inédites.
Capacités d’évaluation et limites
Outre le taux de succès classique, ToyBlocks fournit des métriques détaillées : vitesse d’exécution, forces appliquées, progression de la tâche selon les spécifications du planificateur. Ces indicateurs permettent d’analyser non seulement si le robot accomplit la tâche, mais aussi comment il le fait, ce qui est essentiel pour diagnostiquer les échecs.
Les modèles haut niveau (ex. Molmo 2) sélectionnent les compétences via une interface de pointage, tandis que les modèles bas niveau (ex. ManiFlow) contrôlent les mouvements du bras. Cette séparation montre comment combiner raisonnement symbolique et contrôle précis dans un même pipeline.
La principale contrainte du cadre reste son périmètre limité : les interactions sont limitées aux blocs et à une surface plane. Bien que cela garantisse le respect des quatre exigences (physique réaliste, génération automatique, combinaison raisonnement‑dexterité, couverture de tâches), il ne couvre pas les environnements tridimensionnels complexes ou les objets articulés, ce qui limite la transférabilité directe à certains scénarios réels.
