Contexte et objectifs
Le Open ASR Leaderboard, plateforme d’évaluation de la reconnaissance vocale, proposait initialement 11 découpes privées issues d’Appen et de DataOceanAI, couvrant cinq accents anglophones en mode scripté et conversationnel. Ces jeux de données, non publiés, visaient à réduire le benchmaxxing – optimisation excessive sur des ensembles publics – et à renforcer la confiance des résultats. En ajoutant récemment un jeu de données indien via Voice Arena, les organisateurs ont démontré une volonté d’élargir la diversité accentuelle avant d’intégrer les nouveaux accents égyptien et nigérian grâce à Liva AI.
Ajout de données privées et méthodologie
Liva AI fournit les deux nouveaux ensembles privés, collectés via ses produits grand public. En contrôlant à la fois le cadre de collecte et la distribution, Liva peut cibler des lacunes spécifiques des modèles – par exemple, les variations phonétiques du « th » égyptien ou les intonations nigérianes – et capturer des interactions multimodales à haut contexte. Cette approche contraste avec les jeux de données artificiels, où les locuteurs sont souvent sollicités dans des scénarios de test limités.
Analyse de l'impact sur l'évaluation ASR
Avec l’inclusion des accents égyptien et nigérian, le tableau de bord adopte la classification de Kachru en trois cercles (Inner, Outer, Expanding). Cette granularité permet de mesurer séparément la performance sur les accents du « Inner Circle » (anglais natif) et ceux du « Outer Circle », où les variantes égyptienne et nigériane se situent. Les métriques WER (Word Error Rate) rapportées sur ces nouvelles découpes offriront une indication plus précise de la robustesse des modèles face à des phonèmes et des prosodies sous‑représentés, réduisant ainsi le biais d’évaluation lié à une sur‑représentation des accents américains ou britanniques.
Limites et perspectives
Le caractère privé des ensembles empêche la reproduction exacte des expériences par la communauté académique, ce qui peut freiner la validation indépendante. De plus, l’accès limité aux métadonnées (âge, genre, contexte d’utilisation) restreint l’analyse des facteurs sociolinguistiques. Néanmoins, la collaboration avec Liva AI ouvre la voie à des collectes de données plus naturelles et à l’intégration future d’autres langues et accents, à condition que des protocoles de partage sécurisé soient définis pour concilier confidentialité et transparence scientifique.
