Introduction
Les agents vocaux conversationnels présentent un défi d'évaluation unique : ils doivent satisfaire simultanément deux objectifs, l'exactitude et l'expérience conversationnelle. Les cadres existants traitent ces objectifs comme des préoccupations distinctes. Nous présentons EVA, un cadre d'évaluation complet pour les agents vocaux conversationnels qui évalue les conversations parlées à plusieurs tours en utilisant une architecture réaliste de bot à bot.
Contexte Technique
EVA produit deux scores de niveau élevé, EVA-A (Exactitude) et EVA-X (Expérience), et est conçu pour mettre en évidence les défaillances le long de chaque dimension. Le cadre EVA est le premier à évaluer conjointement la réussite de la tâche et l'expérience conversationnelle. EVA est construit avec cinq composants principaux : simulateur d'utilisateur, agent vocal, exécuteur d'outils, validateurs et suite de métriques.
Analyse et Implications
Les résultats montrent qu'il existe un compromis constant entre l'exactitude et l'expérience ; les agents qui performent bien sur l'achèvement des tâches tendent à offrir de moins bonnes expériences utilisateur, et vice versa. Les données et le code sont entièrement open source. Cette analyse soulève des questions sur la manière dont les agents vocaux peuvent équilibrer ces deux aspects pour offrir une expérience utilisateur optimale.
Perspective
Il est essentiel de surveiller les limites et les prochaines étapes du développement d'EVA, notamment l'expansion vers d'autres domaines et l'intégration de nouvelles fonctionnalités pour améliorer l'évaluation et la personnalisation des agents vocaux. L'évolution de la technologie IA et du machine learning jouera un rôle clé dans l'amélioration de ces systèmes.
