Atlas génère des mondes multimodaux grâce à un contexte spatial partagé

Présentation du modèle Atlas

Atlas est un modèle de génération de mondes pré‑entraîné à partir de zéro. Il accepte simultanément du texte, des images, de la vidéo et des données 3D, puis les intègre dans un même espace de représentation. Cette capacité à traiter quatre modalités différentes le distingue des modèles multimodaux classiques, qui se limitent généralement à deux ou trois types d’entrée.

Architecture multimodale et contexte spatial

Le cœur d’Atlas repose sur un encodeur‑décodeur de type transformeur enrichi d’une couche de « spatial context ». Chaque modalité est d’abord projetée dans un espace latent homogène ; les coordonnées spatiales sont ajoutées comme embeddings supplémentaires, ce qui permet au réseau de raisonner sur la position relative des objets dans un environnement 3D. Cette représentation unifiée sert de base à la génération du contenu suivant, qu’il s’agisse de texte décrivant une scène, d’une image synthétique ou d’une séquence vidéo.

Performances et mise à l'échelle

Les auteurs indiquent que les performances d’Atlas augmentent de façon corrélée avec le calcul dédié à l’entraînement. En pratique, chaque doublement du nombre de FLOP entraînés se traduit par une amélioration mesurable sur les benchmarks de génération de mondes, de reconstruction d’environnements 3D et de simulation dynamique. Cette tendance suit les lois d’échelle observées sur d’autres grands modèles, mais elle est accentuée ici par la diversité des données d’entrée, qui impose un besoin accru de capacité de stockage et de bande passante pendant l’entraînement.

Applications et limites

Atlas peut être employé pour créer des environnements virtuels complets, reconstruire des scènes à partir de captures partielles ou simuler des interactions physiques dans un cadre visuel. Cependant, la consommation de mémoire lors de l’inférence reste élevée : le modèle doit maintenir simultanément plusieurs cartes de caractéristiques spatiales, ce qui limite son déploiement sur des appareils à ressources restreintes. De plus, la qualité des reconstructions dépend fortement de la densité et de la variété des données 3D d’entraînement, un point que les auteurs reconnaissent comme un facteur de biais potentiel.