Présentation du modèle Argon
Gemini 4 Argon est présenté comme un modèle de raisonnement physique capable de générer du code et d’interpréter des scènes visuelles. Le blog indique que le modèle obtient un score de 87 % sur le benchmark Embodied Reasoning (ERQA), ce qui le place au‑dessus des modèles de pointe évalués sur le même test. Argon combine trois axes : compréhension physique, génération de code et raisonnement sémantique, ce qui permet d’alimenter des prompts dans différents domaines de la robotique.
Intégration dans le cycle robotique
Le texte décrit quatre axes d’application. Dans le contrôle robotique, Argon pilote un quadrupède Boston Dynamics Spot (12 DoF pour les pattes, 6 DoF pour le bras) en créant un jumeau numérique MuJoCo du pédalier de poubelle. Le modèle pratique la séquence dans la simulation avant d’exécuter le mouvement réel, ce qui réduit le nombre d’essais physiques. Dans le scénario zero‑shot, Argon utilise un « visual coordinate harness » pour orienter un bras simple et replacer une tasse renversée, en se basant sur une image de caméra et un fichier JSON d’observations. Le troisième axe, Real2Sim, consiste à reconstruire des jumeaux calibrés à partir de flux vidéo robotique ou de croquis papier, sans passer par une étape manuelle de modélisation. Enfin, le contrôle omni exploite le Gemini Omni World Model : Argon écrit des prompts horodatés, inspecte les images de rollout et ajuste chaque action, comme le réarrangement de tuiles Scrabble en 33 étapes.
Les primitives exposées via l’API POST /plan incluent robot.look_at, robot.grasp, robot.place et des mouvements continus comme robot.move_by. Le flux de travail fermé décrit un cycle de requêtes curl -s http://127.0.0.1:8081/obs pour récupérer l’état actuel, suivi d’appels de primitives jusqu’à ce que le statut done soit renvoyé. Cette architecture « code‑as‑policies » transforme les sorties du modèle en appels d’API directement exécutables sur le matériel.
robot.look_at(x=0.35, y=0.13, z=0.14, grid_z=0.015)
robot.grasp(x=0.35, y=0.13, z=0.015, yaw_deg=-35, pitch_deg=90)
robot.place(x=0.24, y=0.06, z=0.075)
robot.done()
Analyse des performances et limites
Le score de 87 % sur ERQA montre que le modèle résout correctement la majorité des problèmes de raisonnement spatial en 3 D, mais la description ne précise pas la taille du jeu de validation ni la variance des résultats. La dépendance à MuJoCo implique que la précision du jumeau numérique repose sur la calibration des paramètres physiques ; toute divergence entre simulation et réalité peut entraîner des échecs de transfert. Le contrôle zero‑shot repose sur une grille de 2 cm et des coordonnées projetées, ce qui limite la résolution exploitable à des tâches de précision modérée. Le pipeline Omni nécessite un modèle vidéo capable de générer des rollouts cohérents, mais aucune métrique de latence n’est fournie, ce qui peut affecter les applications en temps réel.
En pratique, l’utilisation d’Argon impose une infrastructure capable d’exécuter des modèles de grande taille (Gemini 4) et de maintenir un serveur local pour les appels /plan. Le besoin de flux vidéo haute fréquence et de calculs de déprojection ajoute une charge CPU/GPU non négligeable. Malgré ces exigences, la capacité à passer d’une simulation à un robot réel en une seule séquence de prompts représente un pas notable vers l’automatisation du cycle de développement robotique.
