NVIDIA publie quatre modèles Cosmos 3 Nano à poids ouverts pour la simulation

Présentation

NVIDIA a ajouté quatre checkpoints à poids ouvert à la famille Cosmos 3 Nano, chacun contenant 16 milliards de paramètres entraînables. Les modèles sont distribués sous la licence OpenMDW 1.1, autorisant une utilisation commerciale ou non‑commerciale. Les checkpoints – Cosmos3‑Nano‑Transfer‑Auto, Cosmos3‑Nano‑Sim‑Auto, Cosmos3‑Nano‑Sim‑Transfer et Cosmos3‑Nano‑Sim‑Bimanual – sont des versions post‑entraînées du même backbone, destinées à générer des scènes de conduite multi‑capteurs ou des vidéos réactives à des actions robotisées.

Architecture et fonctionnement

Le cœur du système repose sur un Mixture‑of‑Transformers qui relie séparément les réseaux de traitement du texte et de génération visuelle via une attention croisée. Chaque prédiction s’appuie sur des latents vidéo compressés ; un pas de latents représente quatre images RGB. Le modèle applique un denoising pour affiner ces latents, puis les décode en images. Une attention temporelle causale empêche la lecture de futures observations, tandis qu’un cache clé/valeur conserve les informations d’attention d’une prédiction à l’autre, permettant la génération séquentielle de chunks vidéo.

Cosmos3‑Nano‑Transfer‑Auto accepte jusqu’à 11 vues caméra, incluant des fisheyes, et produit simultanément des flux RGB et LiDAR synchronisés. Les contrôles World Scenario Map (WSM) définissent la géométrie du scénario, la position des véhicules et les états des feux, tandis que des invites textuelles modulent l’apparence (météo, éclairage, heure). Cosmos3‑Nano‑Sim‑Auto distille causalement Transfer‑Auto : il génère des chunks de vidéo et LiDAR en quelques étapes de denoising, en réutilisant l’historique généré et les nouvelles commandes de conduite, ce qui rend possible des roll‑outs interactifs longs.

Cosmos3‑Nano‑Sim‑Transfer transforme les contrôles d’un simulateur physique et un texte en vidéo photoréaliste, en ajoutant des canaux de profondeur, segmentation, contours et flou. Enfin, Cosmos3‑Nano‑Sim‑Bimanual prédit les observations à partir d’actions d’un robot bimanuel : le schéma d’entrée comprend 59 valeurs de contrôle (paddées à 64), décrivant positions, rotations, calibrage de la pince et masques de validité. Le modèle exige que chaque transition T produise une observation T+1, garantissant la cohérence temporelle.

Applications et limites

Ces modèles offrent des outils concrets pour deux domaines majeurs. En conduite autonome, la génération synchronisée de caméras et LiDAR permet de créer des jeux de données variés (conditions météo, configurations de capteurs) sans recourir à des enregistrements réels, facilitant l’évaluation de politiques de conduite. En robotique, Sim‑Bimanual fournit un environnement virtuel où les actions d’un bras double peuvent être testées avant déploiement physique, réduisant les coûts de prototypage.

Malgré ces avancées, plusieurs contraintes subsistent. La génération en temps réel dépend d’un GPU performant ; les tests cités utilisent un NVIDIA GB200, mais aucune spécification minimale de mémoire n’est fournie. Le modèle opère sur des latents compressés, ce qui peut introduire des artefacts lorsqu’une haute fidélité spatiale est requise. De plus, la capacité à « fidèlement soutenir l’apprentissage de politiques » reste à quantifier : les chercheurs doivent mesurer l’écart entre les observations synthétiques et les capteurs réels, identifier les biais introduits par le post‑entraînement et ajuster les pipelines de distillation en conséquence.

En résumé, les quatre checkpoints Cosmos 3 Nano constituent une base ouverte pour la simulation interactive, combinant génération multimodale, streaming causal et contrôle robotique. Leur adoption dépendra de la capacité des équipes à adapter le modèle à leurs capteurs, à valider les performances sur des tâches de politique et à gérer les exigences matérielles.