LeWM porte son taux de réussite à 85 % via planification hiérarchique

Contexte et architecture JEPA

Le modèle JEPA (Joint‑Embedding Predictive Architecture) se compose de trois blocs : un encodeur qui transforme chaque image d’observation en un vecteur d’embedding, un prédicteur qui combine cet embedding avec une action pour anticiper l’embedding de l’étape suivante, et un planificateur qui explore des séquences d’actions dans l’espace d’embedding. Cette approche évite de générer des pixels, ce qui, selon Yann LeCun, réduit le bruit inutile pour la prise de décision. Le WM (LeWM) est la première implémentation publique de ce principe, évaluée sur le benchmark Push‑T, où un robot doit pousser un bloc en forme de T vers une cible verte.

Évaluation des prédictions et limites de planification

Pour mesurer l’impact des erreurs de prédiction, l’auteur a remplacé le prédicteur par la physique parfaite du simulateur tout en conservant le reste du pipeline. Sur des tâches à horizon long (objectif à 75 pas), le modèle original a atteint un taux de succès de 78 % contre 77 % avec la physique exacte, montrant que les prédictions du modèle sont déjà comparables à la réalité sur cette longueur. En revanche, le taux de réussite de base de LeWM sur les mêmes tâches était de seulement 22 %, indiquant une faiblesse majeure lorsqu’on dépasse les 25 pas où le modèle atteint 89,7 % de succès, proche du 90,5 % de la physique exacte.

Méthodes de planification améliorées

Six cent expériences ont conduit à quatre nouvelles stratégies. La première, le découpage hiérarchique en sous‑objectifs de 25 pas, a fait grimper le taux de réussite de 22 % à 85 %, soit un gain de près de 60 points, largement supérieur aux 20 points obtenus en injectant la physique parfaite. La deuxième méthode supprime la dépendance aux démonstrations d’experts en construisant un graphe de mémoire latente à partir de 460 000 embeddings issus de démonstrations précédentes. Chaque nœud représente un état, les arêtes relient les états successifs et les états proches dans l’espace d’embedding. Sans pénalité sur les sauts inter‑démonstrations, 318 des 1 015 plans utilisaient six sauts ou plus, créant des trajectoires irréalisables. L’ajout d’un coût sur chaque saut a fait passer le taux de succès de 62 % à 85 % sur les mêmes 250 tâches, égalisant la performance obtenue avec les sous‑objectifs experts.

Analyse des implications et limites

Ces résultats suggèrent que, pour les modèles JEPA, la précision du prédicteur n’est plus le facteur limitant une fois la fenêtre de 25 pas maîtrisée. La vraie marge d’amélioration réside dans la structuration de la recherche de plans, notamment via la hiérarchisation et la modélisation de l’espace d’embedding comme carte de navigabilité. Cependant, la dépendance aux embeddings de démonstrations reste un point sensible : la qualité du graphe dépend de la couverture des états observés, et des environnements plus variés pourraient réduire la pertinence de la distance d’embedding. Enfin, le gain de 85 % reste en deçà de la perfection, indiquant que d’autres mécanismes de correction d’erreur ou de ré‑évaluation en cours d’exécution pourraient être nécessaires pour atteindre des performances proches de la physique exacte sur des horizons encore plus longs.