Présentation

Le blog de Platypush décrit la reconstruction d’une chaîne d’assistant vocal auto‑hébergé. L’auteur a remplacé le plugin assistant.openwakeword par un nouveau assistant.microwakeword basé sur le moteur microWakeWord, puis a revu la détection de fin de parole et le texte‑à‑parole. Les changements visent à diminuer les faux positifs/negatifs du réveil vocal et à raccourcir le délai de clôture d’une conversation, surtout dans des environnements bruyants.

Architecture du réveil vocal

Le nouveau plugin s’appuie sur les liaisons Python pymicro‑wakeword. Les modèles fournis (ex. alexa, hey_jarvis) sont inclus dans le paquet ; aucune récupération en ligne n’est nécessaire. Un modèle personnalisé peut être ajouté en déposant un manifeste JSON et son fichier .tflite dans le répertoire models. Le plugin expose les mêmes paramètres que assistant.openwakeword : models, detection_threshold, frame_duration, patience_frames, input_device, input_volume. Ainsi, la migration ne requiert que la modification du nom du plugin dans le fichier de configuration :

assistant.microwakeword:
  models:
    - alexa

Sans seuil explicite, chaque modèle utilise le probability_cutoff indiqué dans son manifeste (0.9 pour alexa). Les sorties sont déjà lissées sur une fenêtre glissante, ce qui rend patience_frames égal à 0 par défaut. Le fil audio ne charge jamais directement les modèles TFLite : il place les trames dans une file et envoie un marqueur de réinitialisation au thread principal, évitant ainsi l’appel non thread‑safe de MicroWakeWord.reset(). Le dispositif audio est libéré lorsqu’un autre plugin d’assistant démarre une conversation, puis réacquis à la fin.

Détection de fin de parole

Le module assistant.openai utilise Whisper pour la transcription, mais la détection de fin de parole était auparavant basée uniquement sur le VAD WebRTC. Un bruit de fond pouvait maintenir indéfiniment le compteur de silence actif. La refonte introduit trois améliorations :

  • VAD principal : Silero VAD via onnxruntime, sans dépendance PyTorch. Des fallback vers WebRTC VAD et un détecteur RMS sont prévus.
  • Hystérésis et fenêtre glissante : un cadre devient « speech » au‑delà du seuil et ne repasse à « silence » que si son score chute d’une marge. Un vote majoritaire sur 0,5 s lisse les décisions, empêchant un bruit ponctuel de prolonger la conversation.
  • Plancher de bruit adaptatif : le niveau de bruit ambiant est suivi ; les trames dont l’amplitude est inférieure à noise_floor_factor (défaut 2.0, soit ≈ 6 dB) sont exclues du VAD.

Sur un benchmark synthétique (phrases générées par Piper mêlées à du bruit de babillage et des impulsions), l’ancienne configuration maintenait la conversation ouverte 6‑10 s après la parole, alors que la nouvelle chaîne la clôture après 1,0‑1,6 s, correspondant au conversation_end_timeout plus le délai de lissage.

Synthèse vocale et performances

Les réponses sont rendues par tts.openai, avec réglages de volume et de voix. L’auteur a testé tts.piper, qui fonctionne entièrement en local mais ajoute 3‑4 s de latence sur un Raspberry Pi 5 comparé à tts.openai. Pendant la lecture, le détecteur de hot‑word est suspendu afin d’éviter que l’assistant n’entende sa propre sortie audio. Des hooks personnalisés permettent d’intercepter les phrases reconnues avant le passage à LLM, par exemple pour exécuter des commandes domotiques locales :

from platypush import run, when
from platypush.message.event.assistant import SpeechRecognizedEvent
@when(SpeechRecognizedEvent, phrase='play (the)? music')
def play_music():
    run('music.mpd.play')

Un hook similaire lie l’événement HotwordDetectedEvent au démarrage de la conversation OpenAI.

Conclusion

En remplaçant openWakeWord par microWakeWord et en intégrant Silero VAD avec hystérésis et adaptation du bruit, Platypush obtient une détection de réveil plus fiable et une clôture de conversation nettement plus rapide. Le pipeline conserve la compatibilité API, simplifie le déploiement de modèles personnalisés et améliore l’expérience utilisateur sur du matériel à faible coût, tout en restant extensible via des hooks Python.