Présentation de Cosmos 3 Edge
Cosmos 3 Edge est un modèle de 4 milliards de paramètres qui aide les robots et les agents d'intelligence artificielle à comprendre leur environnement, à raisonner en temps réel et à générer des actions sur des appareils périphériques. Il est conçu pour être compact et efficace, avec une inférence en temps réel et une précision de classe mondiale.
Fonctionnement de Cosmos 3 Edge
Cosmos 3 Edge combine deux tours de transformateurs : une tour autoregressive qui traite les jetons de vision et de texte pour la compréhension et la raison, et une tour de diffusion qui traite les jetons de vision, d'audio et d'action pour la prédiction, la génération et la simulation neurale. Les deux tours partagent des couches d'attention multimodales qui alignent les informations sur le langage, la vidéo, l'audio et l'action.
Avantages et performances de Cosmos 3 Edge
Cosmos 3 Edge offre des performances de classe mondiale sur le benchmark VANTAGE-Bench pour l'analyse de la vision et l'apprentissage de la politique de robot. Il peut raisonner sur une scène avant de générer une sortie et peut produire des jetons de raisonnement à partir de la tour autoregressive ou des jetons de vidéo et d'action débruités à partir de la tour de diffusion.
Utilisation et personnalisation de Cosmos 3 Edge
Les développeurs peuvent utiliser Cosmos 3 Edge comme un raisonneur ou comme un générateur d'actions. Ils peuvent également personnaliser et spécialiser le modèle en utilisant les frameworks ouverts de Cosmos. Le modèle est disponible sur Hugging Face et peut être téléchargé et utilisé pour une variété d'applications, notamment la manipulation de robots et la génération d'images et de vidéos.
import torch
from transformers import Cosmos3EdgeModelLes développeurs peuvent également utiliser les références de post-formation et les recettes de formation pour adapter et optimiser Cosmos 3 Edge pour leurs propres applications.
