Présentation

Cosmos3-H-Dreams est la deuxième itération du simulateur génératif de NVIDIA, entraînée sur des enregistrements vidéo et cinématiques de cholécystectomies réalisées avec la plateforme Versius de CMR Surgical. Contrairement aux simulateurs numériques classiques, il ne modélise pas explicitement la géométrie ou la mécanique des tissus ; il apprend les dynamiques visuelles directement à partir de séquences synchronisées. Le système fonctionne en temps réel sur une seule carte graphique NVIDIA RTX PRO 6000 grâce à la bibliothèque d’inférence en flux FlashDreams.

Architecture et entraînement

Le modèle repose sur Cosmos3-H-Embodied-Nano, un réseau de 16 milliards de paramètres pré‑entraîné sur Open‑H‑Embodiment. Un enseignant bidirectionnel est spécialisé sur des vidéos de cholécystectomie, puis distillé en un étudiant causal capable de générer des blocs vidéo dès réception de nouvelles actions. L’espace d’action comprend 28 dimensions : positions, rotations et états de pince pour les deux bras, plus des contrôles d’énergie, axes et boutons de joystick. L’entraînement utilise des vidéos 832 × 480 px à 10 Hz, avec un horizon de 24 images (2,4 s) puis 72 images (7,2 s) pour l’enseignant, afin de capturer les réponses tissulaires sur plusieurs secondes.

Le processus de distillation combine trois phases : teacher forcing causal pour préparer l’étudiant à la génération séquentielle, self‑forcing où le modèle s’entraîne sur son propre contexte guidé par l’enseignant, et l’ajout d’un critique appris pour réduire l’accumulation d’erreurs. Deux checkpoints sont fournis : un modèle à quatre étapes de débruitage par bloc et un modèle à deux étapes, entraîné séparément pour privilégier la vitesse d’inférence au détriment d’une légère perte de qualité visuelle.

Performances et limites

Le système génère des séquences vidéo conditionnées sur les actions de deux instruments – un cadière gauche et un crochet monopolaire droit – tout en maintenant la cohérence anatomique et la géométrie des outils. La consolidation du cache d’attention via le module FadeMem permet de gérer l’historique croissant lors de longues roll‑outs, limitant la latence. Cependant, la validation se limite à la fidélité visuelle ; aucune métrique biomechanique n’est fournie, et les erreurs de petite ampleur peuvent s’accumuler, altérant progressivement la forme des tissus ou des instruments. Le modèle reste spécialisé sur la cholécystectomie et nécessite une adaptation pour d’autres procédures ou un nombre d’instruments supérieur.

Perspectives de recherche

Les auteurs suggèrent plusieurs axes : étendre la couverture temporelle à l’ensemble de la procédure, coupler le génératif à des simulateurs numériques pour contraindre les déformations avec des modèles physiques, établir des benchmarks chirurgicaux basés sur l’évaluation d’experts, et enrichir l’ensemble d’actions à plus de deux outils. La disponibilité d’un guide complet pour le fine‑tuning et la distillation ouvre la voie à l’entraînement de simulateurs personnalisés sur d’autres jeux de données cliniques.