Présentation de Cosmos 3 Edge

Nvidia a lancé Cosmos 3 Edge, un modèle compact conçu pour exécuter la raison visuelle et le contrôle de robot directement sur les appareils périphériques. Ce modèle est doté de 4 milliards de paramètres et est basé sur la famille Nemotron de Nvidia. Il gère la raison visuelle sur appareil et génère des politiques de robot, permettant aux développeurs de l'adapter à des robots, véhicules et capteurs spécifiques en environ une journée.

Architecture et fonctionnement

Cosmos 3 Edge s'exécute sur des puces graphiques périphériques et la plate-forme Jetson de Nvidia, notamment les nouveaux modules T2000 et T3000, ainsi que les GPU RTX et les systèmes DGX. Le modèle fait partie de la plate-forme de modèle de monde fondamental Cosmos de Nvidia, utilisée pour générer et noter des données d'entraînement pour les robots et les machines autonomes. Nvidia a également introduit de nouvelles bibliothèques Metropolis qui permettent aux développeurs de construire et d'exploiter des systèmes d'intelligence vidéo basés sur Cosmos au moins six fois plus rapidement, en utilisant des agents de codage pour la formation et le déploiement.

Partenariats et déploiement au Japon

Plus de 20 entreprises japonaises, dont FANUC Corp., Yaskawa Electric Corp. et Kawasaki Heavy Industries Ltd., ont annoncé leur intention de rejoindre la coalition Nvidia Cosmos. Fujitsu Ltd. est déjà en train de construire une plate-forme de contrôle collaboratif avec FANUC, Yaskawa Electric et Kawasaki Heavy Industries. SoftBank Corp. est en train de développer une plate-forme de développement d'intelligence artificielle physique basée sur Cosmos, Omniverse et Isaac Sim. Le gouvernement japonais et Nvidia ont également annoncé la création d'une infrastructure nationale d'intelligence artificielle, appelée FRONTia, qui sera alimentée par 27 500 GPU Nvidia Rubin et 13 750 CPU Vera, consommant 140 mégawatts.

Implications et limites

Le lancement de Cosmos 3 Edge et les partenariats au Japon marquent une étape importante dans la stratégie d'intelligence artificielle physique de Nvidia. Le modèle offre une grande flexibilité et une capacité d'adaptation aux différents robots et capteurs, ce qui en fait un outil puissant pour les applications de robotique et d'automatisation. Cependant, la mise en œuvre et le déploiement de tels modèles nécessitent une grande quantité de données d'entraînement et une infrastructure informatique importante, ce qui peut limiter leur adoption dans certains secteurs. De plus, la consommation d'énergie de l'infrastructure FRONTia soulève des préoccupations environnementales et énergétiques qui devront être prises en compte dans les développements futurs.

Jetson

Le code suivant est un exemple de code utilisé pour la plate-forme Jetson de Nvidia : 

import jetson.inference
import jetson.utils