Présentation du modèle
NVIDIA Nemotron 3.5 Transcribe est un modèle à poids ouvert capable de transcrire, d’attribuer les locuteurs, de traduire et de répondre à des questions audio depuis un même point de contrôle. Il couvre 40 langues en transcription, 31 langues en traduction vers ou depuis l’anglais et 13 langues pour l’attribution de locuteurs, avec prise en charge de jusqu’à huit intervenants et d’enregistrements d’une durée maximale d’une heure. Le modèle est disponible sur Hugging Face et ModelScope et s’exécute sur un seul GPU NVIDIA, du DGX Spark aux systèmes Blackwell.
Performances sur les benchmarks
Sur le Hugging Face Open ASR Leaderboard, Nemotron 3.5 Transcribe obtient un taux d’erreur de mots (WER) moyen de 5.33 % en anglais, le meilleur parmi les modèles à poids ouvert. En multilingue, le WER moyen chute à 4.62 % sur sept langues, et en transcription longue, il atteint 10.98 %. L’évaluation indépendante d’Artificial Analysis place le modèle à 2.8 % d’AA‑WER, soit une performance comparable à un modèle de 24 B de paramètres actifs, alors que Nemotron n’active qu’environ 4 B de ses 30 B paramètres grâce à son architecture mixture‑of‑experts. Sur le sous‑ensemble AA‑AgentTalk, le WER est de 1.8 % contre 2.3 % pour le suivant.
En attribution de locuteurs, le modèle se classe premier sur le leaderboard David AI DAI‑ASR‑I18N avec un taux d’erreur de diarisation (DER) de 18.26 % sur 21 langues, et il domine le benchmark VoiceArena avec un cpWER de 32.4 % parmi 14 systèmes, les suppressions ne représentant que 8.32 % des mots de référence.
Architecture et mécanismes
Nemotron 3.5 Transcribe combine un encodeur acoustique avec un modèle de langage hybride Mamba‑Transformer en mixture‑of‑experts. Cette conception permet de n’activer qu’une fraction des paramètres (≈ 4 B) pour chaque token, réduisant ainsi la charge de calcul tout en conservant une précision élevée. Le module Sortformer injecte les repères de locuteur directement dans le flux de génération, évitant une étape post‑traitement séparée et améliorant la cohérence entre texte et attribution.
Adaptation et cas d’usage
Granary v2 fournit un pipeline de données multilingues et des recettes de fine‑tuning via les outils NeMo Speech. Dans un scénario médical, le fine‑tuning a réduit le WER de 45.8 % par rapport à la meilleure configuration de prompt. Le modèle supporte également les horodatages au niveau du mot, fonction exploitées par la plateforme Agora pour synchroniser les transcriptions avec les replays de cours. Les utilisateurs peuvent guider la sortie à l’aide d’instructions en langage naturel, par exemple « Transcribe this recording and label each speaker » ou « Translate this audio into English », ce qui rend le système adaptable à des contextes variés comme les réunions d’entreprise, les dictées médicales ou les classes en ligne.
