MolmoMotion : Prévision de mouvement 3D guidée par le langage

Introduction

Les machines sont devenues remarquablement efficaces pour percevoir le mouvement. Étant donné une vidéo, les modèles modernes peuvent suivre comment les objets et les points se déplacent dans une scène avec une confiance exceptionnellement élevée. Cependant, la perception est inhérentement rétrospective : elle explique le mouvement qui a déjà eu lieu. De nombreux systèmes et applications que nous voulons construire doivent regarder vers l'avant à la place.

Contexte Technique

MolmoMotion est un nouveau modèle de prévision de mouvement qui prédit où les points d'un objet se déplaceront dans l'espace 3D au cours des prochaines secondes, étant donné une trame de vidéo, des points 3D marqués sur un objet et des instructions écrites décrivant l'action intentionnelle. Le modèle utilise Molmo 2 comme colonne vertébrale, ce qui lui permet de relier les instructions linguistiques aux objets et aux points dans une image.

Deux variantes de MolmoMotion sont proposées : la variante autorégressive (MolmoMotion-AR) qui prédit les coordonnées futures étape par étape, et la variante de correspondance de flux (MolmoMotion-FM) qui prédit les trajectoires dans l'espace 3D continu en transformant le bruit en mouvement.

Analyse et Implications

Les résultats montrent que MolmoMotion peut être utile dans une gamme de tâches en aval, de la planification robotique à la génération de vidéos contrôlables. Le modèle est entraîné sur le plus grand corpus de trajectoires de points 3D décrites par des actions et ancrées à des objets, appelé MolmoMotion-1M, qui comprend 736 types de mouvement et 5 600 objets distincts.

Un benchmark appelé PointMotionBench a également été créé pour évaluer les performances de prévision de MolmoMotion. Il couvre 2 700 clips et 111 catégories d'objets et 61 types de mouvement.

Perspective

MolmoMotion représente le mouvement de manière délibérée et très efficace, en utilisant des points 3D attachés à des objets dans l'espace monde, qui capturent le mouvement sans le coût de la rendu de la vidéo complète. Les résultats montrent que MolmoMotion peut être utile dans une gamme de tâches en aval, de la planification robotique à la génération de vidéos contrôlables.

Les prochaines étapes consisteront à améliorer les performances de MolmoMotion et à l'appliquer à des scénarios du monde réel. Les limites de l'analyse incluent la nécessité de données de haute qualité et la complexité de la tâche de prévision de mouvement.