Présentation du service
Meta a annoncé que Muse Voice, la fonction permettant d’appeler et de discuter en vidéo avec l’agent IA grand public Muse, est désormais accessible à l’ensemble des utilisateurs américains. Le lancement suit la démonstration faite lors de la conférence Connect de septembre, où la capacité de conversation en temps réel a été présentée.
Contrairement aux solutions concurrentes qui se limitent à la voix, Muse propose un avatar animé, surnommé « Jolly », capable d’exprimer des gestes et des expressions en fonction du ton de la discussion. Cette approche vise à renforcer le sentiment de connexion entre l’utilisateur et l’agent.
Architecture et modèles en temps réel
Le service repose sur deux nouvelles composantes : le modèle Muse Realtime Avatar et la technologie Muse Realtime Voice. Le premier génère les mouvements faciaux et les gestes de l’avatar à partir du texte produit par le modèle de langage, tandis que le second assure la synthèse vocale synchronisée avec ces animations. Les deux modèles fonctionnent en flux continu, ce qui permet de maintenir une latence compatible avec une conversation naturelle.
Les flux vidéo sont traités sur les serveurs de Meta, où les entrées audio de l’utilisateur sont transcrites, analysées par le modèle de langage, puis renvoyées sous forme de texte, audio et animation. Cette chaîne de traitement implique une orchestration de services de reconnaissance vocale, de génération de texte et de rendu graphique, chaque étape devant respecter des contraintes de temps strictes pour éviter les ruptures de dialogue.
Personnalisation et expérience utilisateur
Les utilisateurs peuvent modifier l’apparence de l’avatar, le faisant ressembler à une personne, un animal ou un personnage fictif. Cette personnalisation se fait via l’interface mobile ou web, où les options graphiques sont stockées dans le profil utilisateur et appliquées dynamiquement lors de chaque session. Le système conserve les paramètres de l’avatar entre les sessions, garantissant une continuité visuelle.
Lors d’une démonstration, le responsable IA d Meta, Alexandr Wang, a illustré l’interaction avec un avatar sous forme de chien blanc qui a réagi à une blague en proposant d’ajouter un avertissement. Cette scène montre que les réponses de l’avatar sont conditionnées par le contexte conversationnel et peuvent inclure des suggestions de comportement.
Déploiement multiplateforme et perspectives matérielles
Meta indique que les conversations en temps réel sont disponibles sur mobile, web et Mac, avec un déploiement futur prévu pour les AI Glasses et le dispositif « Muse Charm ». Le même backend alimente ces différentes plateformes, ce qui implique une abstraction des entrées (caméra, micro) et des sorties (écran, haut-parleur) afin de garantir une expérience homogène.
Le plan inclut également un appareil portable de type Tamagotchi, prévu avant la fin de l’année, où l’avatar apparaîtra sur un petit écran dédié. Cette extension matérielle repose sur la même pile logicielle, mais nécessite une optimisation de la bande passante et de la consommation d’énergie pour fonctionner sur un dispositif à ressources limitées.
