Contexte et objectifs
Wispr Flow est utilisé quotidiennement pour dicter des messages, des e‑mails ou du code depuis des environnements bruyants (bureaux, transports, open‑space). Les modèles de reconnaissance vocale classiques sont optimisés sur des enregistrements propres, ce qui limite leur fiabilité dans ces situations. Le laboratoire Advanced Interfaces de Wispr a donc développé Canto, un modèle dédié à la dictée en temps réel, capable de résister aux interférences acoustiques courantes.
Évaluation sur des dictées réelles
Pour mesurer la robustesse de Canto, Wispr a constitué un jeu de test de 10 heures d’audio anglais provenant de plus de 2 300 locuteurs distincts, prélevés aléatoirement parmi les usages de l’application. Les locuteurs du jeu d’entraînement et de test sont strictement séparés afin d’éviter tout sur‑apprentissage de leurs caractéristiques vocales. Sur cet ensemble, Canto a enregistré le taux d’erreur de mots (WER) le plus bas parmi les modèles comparés : Google, OpenAI, AssemblyAI et Deepgram. Le WER, qui cumule substitutions, omissions et insertions, est ainsi réduit au minimum observable dans ce contexte.
Performance sous conditions extrêmes
Un second jeu d’évaluation de 3 heures a été créé pour pousser les modèles à leurs limites. Il regroupe trois sous‑ensembles : audio à faible rapport signal/bruit (bruit de fond, trafic, vent), échantillons à faible volume (chuchotements, éloignement du micro) et dictées très courtes (1‑2 mots). Sur l’ensemble complet, Canto se classe deuxième, derrière Gemini 3.1 Pro, un modèle multimodal de grande taille qui ne convient pas aux exigences de latence en temps réel. Parmi les solutions à latence faible, Canto conserve la meilleure précision, égalant le meilleur WER sur les sous‑ensembles à faible volume et sur les dictées courtes. Les dictées brèves restent le facteur limitant, car chaque erreur impacte fortement le calcul du WER.
Entraînement et optimisation
Canto part d’un pré‑entraînement réalisé sur plusieurs millions d’heures d’audio et de texte. La phase suivante, appelée fine‑tuning supervisé, aligne chaque segment audio avec sa transcription de référence, enseignant ainsi la correspondance directe entre signal et texte. La dernière étape utilise l’apprentissage par renforcement (RL) via la méthode Group Relative Policy Optimization (GRPO). Pour chaque extrait, le modèle génère plusieurs transcriptions candidates (rollouts) qui reçoivent un score de récompense basé sur leur proximité avec la référence. Le score relatif, ou « advantage », compare chaque candidate aux autres du même groupe et guide la mise à jour des poids du réseau. Cette approche de niveau séquence permet d’optimiser directement la métrique d’intérêt (WER) plutôt que des objectifs intermédiaires.
