Présentation du projet

MonsterHouse est une installation de porte de garage transformée en personnage qui dialogue avec les visiteurs lors d'Halloween. Le dispositif écoute les enfants, répond avec la voix d'un vieux navire pirate et adoucit son ton lorsque les interlocuteurs utilisent les formules de politesse. L'ensemble fonctionne sur une seule station de travail équipée d'un RTX PRO 6000 Blackwell Max‑Q et d'un RTX PRO 4000 Blackwell.

Architecture logicielle

Le cœur du système est NVIDIA Nemotron Voice Agent, qui orchestre quatre modules spécialisés : Nemotron Speech ASR pour la transcription (modèle 

nemotron-speech-streaming-en-0.6b.q8_0.gguf
), Nemotron 3.5 Bolt E4B 4GB comme modèle de génération de texte, Magpie TTS Zeroshot pour la synthèse vocale et Audio2Face‑3D qui anime la bouche dans Unreal Engine 5. Un LoRA adapter, entraîné sur plus de 5 000 conversations multi‑tours, injecte la personnalité grincheuse du personnage dans le modèle Bolt.

Pour la perception visuelle, le pipeline utilise YOLO et ByteTrack afin de détecter, compter et suivre les visiteurs, tandis que Nemotron 3 Nano Omni décrit les costumes afin d'enrichir le dialogue.

Pipeline audio‑visuel et performances

Le flux de traitement suit l'ordre suivant : la parole du visiteur est captée, transcrite par Nemotron Speech, puis le texte est envoyé à Bolt E4B qui génère une réponse conditionnée par le LoRA. Magpie TTS transforme le texte en audio, et Audio2Face‑3D synchronise la forme de la bouche avec le signal audio en temps réel. Le système libère la réponse avant la fin de la phrase grâce à une détection de silence de 300 ms, ce qui permet à la bouche de parler pendant que le texte restant est encore généré.

Les mesures de latence montrent un temps moyen de fin‑parole à audio de 1,70 s avec le modèle Bolt quantifié en 4 bits, contre 0,72 s pour les réponses pré‑enregistrées. La quantisation 4‑bit (nommée « 4 GB ») réduit l'empreinte mémoire, tandis que le checkpoint BF16 reste disponible pour des comparaisons de précision.

Limites et perspectives

Le projet dépend d'une station de travail puissante ; la latence augmente sensiblement si l'on migre vers du matériel moins performant. Le modèle Bolt, bien que compact, montre des répétitions de phrases lorsqu'il est sollicité au-delà de son budget de calcul, d’où la nécessité d'un jeu de réponses pré‑générées. Le système ne gère pas encore les variations d'accents ou de bruits de fond importants, ce qui limite son usage en extérieur. Future amélioration pourrait inclure un modèle de reconnaissance plus robuste et l'intégration d'un moteur de suivi d'émotion pour adapter dynamiquement le ton du personnage.