Introduction

DeepMind, la division de recherche en intelligence artificielle d'Alphabet Inc., a lancé un nouveau modèle de robotique IA appelé Gemini Robotics-ER 1.6. Ce modèle est conçu pour améliorer la compréhension et la raison spatiale précise dans les agents physiques et les robots.

Contexte Technique

Le modèle Gemini Robotics-ER 1.6 offre des capacités de raisonnement de haut niveau pour la robotique, notamment la planification de tâches et l'appel d'outils. Il intègre des outils natifs pour la recherche Google, des modèles de vision-langage-action et d'autres fonctions définies par l'utilisateur pour étendre les capacités. Le modèle améliore la détection d'objets, la catégorisation et la détection, ce qui est essentiel pour les robots qui doivent manipuler des objets.

Le modèle fonctionne également bien dans les contraintes et raisonne à travers des invites complexes, telles que « pointez vers chaque objet suffisamment petit pour rentrer dans la tasse bleue ». Les chercheurs de DeepMind ont également amélioré la capacité du modèle à comprendre et à lire des éléments tels que des jauges et des instruments, ce qui nécessite un raisonnement visuel complexe.

Analyse et Implications

Les capacités du modèle Gemini Robotics-ER 1.6, telles que la lecture d'instruments et la raison plus fiable des tâches, permettront aux robots de voir, de comprendre et de réagir de manière autonome aux défis du monde réel. Le modèle atteint ce niveau de précision via la vision agentic, qui combine le raisonnement visuel avec l'exécution de code. Les développeurs peuvent désormais accéder au modèle via l'API Gemini et Google AI Studio.

Perspective

Le lancement de Gemini Robotics-ER 1.6 ouvre de nouvelles perspectives pour la robotique et l'IA physique. Les développeurs pourront créer des applications plus avancées et plus autonomes, capables de manipuler des objets et de comprendre leur environnement de manière plus précise. Cependant, il est important de surveiller les limites et les prochaines étapes de ce modèle, notamment en termes de sécurité et de responsabilité.