Présentation
La voix devient rapidement l'interface principale de l'IA. Les modèles vocaux ont considérablement amélioré ces dernières années, mais ils présentent encore des limites, notamment en termes de reconnaissance des émotions, des accents et du contexte. Pour évaluer ces aspects, nous avons développé Real World VoiceEQ, un référentiel conçu pour évaluer la qualité humaine des interactions vocales.
fonctionnement de Real World VoiceEQ
Real World VoiceEQ évalue plus de 40 modèles vocaux propriétaires et open-source sur plus de 15 dimensions clés et plus de 60 métriques, couvrant la reconnaissance automatique de la parole (ASR), la synthèse de la parole (TTS), la traduction vocale (S2S) et la compréhension de la parole. Le référentiel a été développé à partir de plus d'un million de notations humaines individuelles collectées sur différentes démographies, styles de parole et environnements acoustiques.
analyse des résultats
Les résultats montrent que les modèles vocaux présentent des forces et des faiblesses différentes, et qu'il n'y a pas de modèle unique qui excelle dans tous les domaines. Les modèles qui excellent dans la reconnaissance des émotions peuvent avoir des difficultés à produire des discours naturels, tandis que les modèles qui sont très naturels peuvent avoir des difficultés à reconnaître les émotions. Les modèles de traduction vocale présentent la plus grande variation dans les résultats, avec certains modèles qui reconnaissent très bien les émotions mais qui ont des difficultés à répondre de manière naturelle.
limites et perspectives
Les référentiels établis sont souvent limités et ne reflètent pas les conditions du monde réel. Les modèles vocaux ont encore des difficultés à gérer les accents, les bruits de fond, les émotions et les conversations plus longues. Les résultats de notre évaluation montrent que les performances varient considérablement entre les modèles open-source et propriétaires, et que les modèles peuvent être optimisés pour les référentiels publics plutôt que pour les conditions du monde réel. Il est donc important de développer des référentiels plus complets et plus représentatifs du monde réel pour évaluer les modèles vocaux.
