présentation

LeRobot v0.6.0 introduit des politiques de modèles de monde (VLA-JEPA, FastWAM, LingBot-VA) qui apprennent à imaginer le futur. Cette version inclut également de nouvelles VLAs (GR00T N1.7, MolmoAct2, EO-1, EVO1, Multitask DiT) et une nouvelle API de modèles de récompense (Robometer, TOPReward).

fonctionnement

Les politiques de modèles de monde, comme VLA-JEPA, LingBot-VA et FastWAM, apprennent à prédire les futurs états de l'environnement. Par exemple, VLA-JEPA utilise un modèle de monde JEPA pour anticiper les futurs cadres à partir des actions de l'agent, tandis que LingBot-VA prédit les futurs vidéos et actions ensemble. FastWAM, quant à lui, apprend à rêver ses propres simulations.

lerobot-train 
     --policy.path=lerobot/VLA-JEPA-Pretrain 
     --dataset.repo_id=${HF_USER}/my_dataset 
     --policy.repo_id=${HF_USER}/my_finetuned_policy

analyse scientifique

Les nouvelles VLAs, telles que GR00T N1.7 et MolmoAct2, offrent de meilleures performances et une plus grande flexibilité. La nouvelle API de modèles de récompense, Robometer et TOPReward, permet de détecter la réussite et de estimer la progression des tâches de manière plus précise. Les améliorations de l'encodage vidéo et de la gestion des données permettent une meilleure efficacité et une plus grande flexibilité.

lerobot-edit-dataset 
       --repo_id ${HF_USER}/my_dataset 
       --operation.type reencode_videos 
       --operation.rgb_encoder.vcodec h264 
       --operation.rgb_encoder.crf 23

implications et limites

Les améliorations apportées par LeRobot v0.6.0 ouvrent de nouvelles perspectives pour l'apprentissage automatique et la robotique. Cependant, il est important de noter que les performances des modèles de monde et des VLAs dépendent de la qualité des données et de la complexité des tâches. Les limites de la version actuelle, telles que la nécessité de données de haute qualité et la complexité de la mise en œuvre, doivent être prises en compte pour les applications réelles.