Nvidia lance Nemotron 3.5 Transcribe, modèle tout‑en‑un pour transcription audio multilingue

Présentation du modèle

Nemotron 3.5 Transcribe, publié par Nvidia, est un modèle d’intelligence artificielle ouvert dédié à la transcription et à la traduction audio multilingue. Il s’appuie sur une architecture mixture‑of‑experts de 30 milliards de paramètres, dont 4 milliards sont actifs à chaque passage, ce qui permet de le déployer sur du matériel « raisonnable » tout en conservant une capacité de traitement élevée.

Architecture et exigences matérielles

Le modèle fonctionne en un seul passage, contrairement aux pipelines classiques qui séparent détection, transcription, identification des locuteurs et question‑answering. Cette unification réduit la latence et la consommation de mémoire. Nvidia indique qu’une GPU Blackwell Server Edition, configurée en précision NVFP4 et compressée à un quart de sa taille, traite 100 heures d’audio en moins de trois minutes. La même configuration peut être exécutée sur un Jetson AGX Thor (edge) ou sur un DGX Spark (desktop), démontrant une flexibilité allant du bord au centre de données.

Précision et adaptation

Sur le jeu de données générique, le modèle affiche un taux d’erreur de mots (WER) de 30,8 % sans aucune modification. En ajustant le prompt, ce taux descend à 20,8 %. Lors d’un fine‑tuning sur le benchmark médical indien Eka Care, le WER atteint 11,8 %, ce qui montre l’impact d’une adaptation ciblée. Le système accepte jusqu’à huit locuteurs simultanés et supporte 40 langues, ce qui le rend pertinent pour des réunions multilingues ou des environnements de service client.

Granary v2 et pipeline d’entraînement

Le jeu de données Granary v2, construit avec l’outil Nvidia NeMo Curator, alimente le modèle. Granary v2 comprend 843 579 heures d’audio couvrant 48 langues et 19 corpus sources, contre 643 000 heures et 25 langues dans la version précédente. Chaque enregistrement génère trois transcriptions : une verbatim complète, une version épurée des remplissages (« ums », « ahs ») et une version où les nombres sont convertis en symboles. Cette diversité permet aux développeurs de choisir le style de sortie via un prompt et d’affiner le modèle pour des domaines spécifiques.

Nemotron 3.5 Transcribe est disponible en tant que démonstration Hugging Face, où les utilisateurs peuvent télécharger le checkpoint et le ré‑entraîner avec leurs propres corpus. L’approche « prompt‑driven » combinée à la possibilité de fine‑tuning rend le modèle adaptable à des cas d’usage variés, de la transcription médicale à la traduction de conférences internationales.