Gemini Robotics-ER 1.6 : L'IA pour les tâches robotiques

Introduction

Pour être vraiment utiles dans notre vie quotidienne et dans les industries, les robots doivent faire plus que suivre des instructions, ils doivent raisonner sur le monde physique. C'est ce que permet la « raison embodiment » des robots, qui leur permet de combler le fossé entre l'intelligence numérique et l'action physique.

Contexte Technique

Aujourd'hui, nous présentons Gemini Robotics-ER 1.6, une mise à jour significative de notre modèle de raisonnement qui permet aux robots de comprendre leur environnement avec une précision sans précédent. En améliorant la raison spatiale et la compréhension multi-vue, nous apportons un nouveau niveau d'autonomie à la prochaine génération d'agents physiques.

Ce modèle se spécialise dans les capacités de raisonnement critiques pour la robotique, notamment la compréhension visuelle et spatiale, la planification de tâches et la détection de réussite. Il agit comme le modèle de raisonnement de niveau supérieur pour un robot, capable d'exécuter des tâches en appelant nativement des outils comme Google Search pour trouver des informations, des modèles vision-langage-action (VLAs) ou d'autres fonctions définies par l'utilisateur.

Analyse et Implications

Gemini Robotics-ER 1.6 montre une amélioration significative par rapport à Gemini Robotics-ER 1.5 et Gemini 3.0 Flash, en particulier en ce qui concerne les capacités de raisonnement spatial et physique telles que le pointage, le comptage et la détection de réussite. Nous débloquons également une nouvelle fonctionnalité : la lecture d'instruments, qui permet aux robots de lire des jauges et des verres de vue complexes — un cas d'utilisation que nous avons découvert grâce à une collaboration étroite avec notre partenaire, Boston Dynamics.

Perspective

À partir d'aujourd'hui, Gemini Robotics-ER 1.6 est disponible aux développeurs via l'API Gemini et Google AI Studio. Pour vous aider à démarrer, nous partageons un Colab pour les développeurs contenant des exemples de configuration du modèle et de sollicitation de tâches de raisonnement embodiment.