Contexte et objectifs

L’Open ASR Leaderboard, plateforme de référence pour l’évaluation des modèles de reconnaissance automatique de la parole (ASR), a ajouté deux nouveaux jeux de test : Monsoon en‑IN (anglais indien) et Monsoon hi‑IN (hindi). Il s’agit de la première langue du Sud‑global inscrite dans l’onglet multilingue, qui ne couvrait auparavant que des langues européennes. L’objectif affiché est de rendre les métriques de performance plus représentatives des populations sous‑représentées, en exposant les écarts de taux d’erreur (WER) liés à la géographie, l’âge, le genre ou le type d’appareil.

Conception du jeu de données

Les quatre splits – public et privé pour chaque langue – ont été collectés via un pipeline unique. Au total, 4 888 locuteurs sont enregistrés, avec 12 attributs (âge, genre, occupation, niveau d’études, statut marital, revenu, marque du téléphone, ville actuelle, années dans le district, etc.). La durée totale s’élève à 5,62 h pour l’anglais public, 5,58 h pour l’anglais privé, 1,33 h pour le hindi public et 4,47 h pour le hindi privé. Chaque clip dure en moyenne entre 5,6 s et 9,6 s, avec une médiane légèrement inférieure, ce qui favorise une couverture large de voix plutôt qu’une profondeur sur quelques locuteurs. La répartition hommes/femmes est proche de l’équilibre (≈ 50 % chaque sexe) et les locuteurs proviennent de plus de 400 districts, assurant une diversité géographique.

Le jeu de données a été structuré autour de neuf axes de variation : géographie, âge, genre, vocabulaire, appareil, environnement acoustique, type de discours, vitesse de parole et existence de transcriptions multiples. Par exemple, les enregistrements proviennent d’appareils personnels (plus de 20 marques différentes) et de milieux variés (intérieur, extérieur, bruit de fond), ce qui rend les conditions d’enregistrement réalistes et difficiles à normaliser. Le hindi, en raison de sa richesse orthographique, est fourni sous forme de lattice contenant toutes les variantes orthographiques acceptées pour chaque segment, contrairement à l’anglais où une chaîne de caractères standard est utilisée.

Mécanique de l’évaluation

Chaque split possède une version publique (auto‑score) et une version privée (réservée aux organisateurs) afin de limiter l’optimisation spécifique au benchmark. Le score principal reste le Word Error Rate (WER), mais les organisateurs ont introduit des métriques de « benchmark‑fitting » pour mesurer la part de transcription reproduite à partir du texte de référence plutôt que réellement reconnue dans l’audio. Des normaliseurs privés sont appliqués pour les langues à orthographe stable, tandis que le lattice du hindi évite toute pénalisation injustifiée des variantes légitimes.

Les ensembles de test sont speaker‑disjoint : aucun locuteur n’apparaît dans plus d’un split, ce qui garantit que le modèle ne profite pas d’une exposition préalable à la voix d’un intervenant. La contribution des dix plus gros locuteurs représente entre 2,8 % et 6,8 % du temps total, confirmant que la majorité des scores provient d’une large base de voix uniques.

Limites et perspectives

Malgré la richesse des attributs, le leaderboard ne capture pas directement les biais sociodémographiques, car les métriques agrégées masquent les performances différentielles entre sous‑groupes. De plus, la durée totale (< 12 h) reste modeste comparée à des corpus de plusieurs centaines d’heures, ce qui peut limiter la robustesse des conclusions pour des modèles très grands. L’absence de normalisation pour le hindi impose aux participants de gérer explicitement les lattices, ce qui augmente la complexité algorithmique. Enfin, la disponibilité d’un seul split privé empêche une validation croisée exhaustive.

Ces jeux de test ouvrent néanmoins la voie à une évaluation plus inclusive des systèmes ASR, incitant les chercheurs à concevoir des modèles capables de généraliser au-delà des langues européennes et à des conditions d’enregistrement hétérogènes.