Principe de fonctionnement
EmbeddingGemma 2 est un modèle d’embedding multimodal développé par Google DeepMind. Son encodeur audio reste inchangé : chaque tranche courte d’échantillons est projetée dans l’espace partagé texte‑audio du modèle. Un reader très léger compare chaque projection à un vocabulaire d’environ 229 000 mots anglais et sélectionne le mot le plus proche. Un second micro‑modèle ajoute ponctuation et majuscules. Le lecteur a été entraîné pendant moins de deux heures sur 8 × H100 à partir de données de parole sous licence ouverte, tandis que le modèle de base n’a jamais été exposé à une tâche de transcription.
Performances sur Apple Silicon
Sur un MacBook Air M3 8 Go, le pipeline s’exécute entièrement sur le Neural Engine, traitant une heure d’audio en 12,6 s, soit un facteur de 288× par rapport au temps réel. En comparaison, IBM Granite Speech 5.0 TurboCTC (GPU MLX) réalise la même tâche en 25,7 s (150×). Des benchmarks publiés par FluidAudio montrent des vitesses de 156× (M4 Pro), 335× (M5 Pro) et 480× (Phonon‑2). Le binaire téléchargeable pèse 715 Mo et nécessite macOS 14+ sur Apple Silicon, garantissant que les données audio ne quittent jamais l’appareil.
Qualité de transcription et limites
Le taux d’erreur de mots (WER) se situe autour de 5 %, contre 2–3 % pour les modèles de reconnaissance vocale les plus performants. Cette différence provient principalement du fait que le modèle d’origine n’a jamais été entraîné pour la reconnaissance phonétique et que la recherche du mot le plus proche se limite à un vocabulaire fixe, excluant les néologismes ou les noms propres. De plus, la ponctuation est générée par un modèle auxiliaire très compact, ce qui peut introduire des erreurs de capitalisation. L’équilibre entre vitesse (exécution sur le Neural Engine) et précision reflète les contraintes de mémoire et de puissance du MacBook Air.
Perspectives et utilisation
L’application, disponible gratuitement sous licence Apache 2.0, s’installe via un simple téléchargement et s’active en glissant un fichier audio ou en maintenant la touche Option droite pour dicter dans n’importe quelle application. La confidentialité est assurée par le traitement local. Les auteurs envisagent d’améliorer le lecteur – par un entraînement plus long ou sur des jeux de données plus diversifiés – afin de réduire le WER. Des extensions possibles incluent le support multilingue, l’augmentation du vocabulaire et l’intégration de techniques de décodage plus sophistiquées, tout en conservant la rapidité offerte par le Neural Engine d’Apple.
