Introduction
L'institut de recherche en intelligence artificielle Ai2, basé à Seattle, a annoncé la sortie de MolmoAct 2, une nouvelle génération de modèles d'intelligence artificielle open-source conçus pour améliorer l'intelligence des robots dans le monde réel. Cette version suivait la sortie de MolmoAct, le premier modèle de raisonnement d'action de l'entreprise, qui permet aux machines de raisonner sur des environnements 3D avant d'agir.
Contexte Technique
MolmoAct 2 a été conçu pour surpasser les modèles de robotique propriétaires sur le marché et peut effectuer diverses tâches du monde réel jusqu'à 37 fois plus vite que son prédécesseur. Pour cela, Ai2 a reconstruit l'architecture de MolmoAct 2 à partir de zéro, en s'appuyant sur Molmo 2-ER, une variante spécialisée de son modèle de base pour le raisonnement incorporé. Le modèle a été formé sur plus de 3 millions d'exemples d'interactions basées sur des images, de détection d'objets, de raisonnement spatial abstrait et de questions spatiales basées sur des images et des vidéos.
En plus de MolmoAct 2, Ai2 a publié un vaste ensemble de données appelé MolmoAct 2-Bimanual YAM, qui contient plus de 720 heures de démonstrations de tâches à deux bras, ce qui en fait la plus grande source de données manuelles open-source jamais publiée pour de telles démonstrations.
Analyse et Implications
Les tests de MolmoAct 2 dans des environnements réels, notamment dans le cadre d'une collaboration avec le laboratoire Cong à l'Université de Stanford, ont montré son potentiel pour assister les opérations de laboratoire humide, telles que les expériences de génétique et l'édition de gènes CRISPR. Cependant, le modèle présente encore des limites, comme des difficultés lorsqu'un objet bloque la vue de la caméra ou lorsque des mouvements plus précis sont nécessaires.
Ces défis soulignent l'importance de poursuivre la recherche et le développement dans le domaine de l'intelligence artificielle pour les robots, en particulier pour surmonter les limitations actuelles et améliorer la flexibilité et la précision des systèmes robotiques.
Perspective
La sortie de MolmoAct 2 et de son ensemble de données associé représente une étape significative dans l'avancement de l'intelligence artificielle pour les robots. L'approche open-source d'Ai2 permettra aux chercheurs d'inspecter et de construire sur ces modèles, favorisant ainsi les progrès dans le domaine. Les prochaines étapes incluront probablement l'élaboration de solutions pour résoudre les limitations actuelles et l'exploration de nouvelles applications pour les robots intelligents dans divers secteurs.
