Contexte d’utilisation
OpenAI intègre la bibliothèque libwebrtc, fournie par Google, dans son produit vocal ChatGPT™. Cette implémentation repose sur le protocole UDP, choisi pour sa capacité à maintenir une latence quasi nulle, critère essentiel pour les appels vidéo et audio en temps réel. Les navigateurs modernes (Chrome, Safari, Firefox) exposent déjà cette pile, ce qui simplifie le déploiement côté client.
Limites techniques de WebRTC pour l’IA vocale
WebRTC a été conçu pour des conversations humaines, où chaque milliseconde compte. Le protocole désactive par défaut la retransmission des paquets audio afin d’éviter tout retard supplémentaire. De plus, le jitter buffer ne retient pas les paquets arrivés tardivement, ce qui entraîne la perte d’information dès que le délai dépasse ~30 ms. En pratique, une perte de paquet due à un « kraken » sous‑marin ou à une transition de satellite Starlink se traduit par une interruption du flux audio, et l’IA doit deviner le contenu manquant, ce qui augmente le taux d’erreur.
Le débit typique d’un flux Opus à 64 kbps est de 8 KB par seconde, découpé en environ 50 paquets de 160 bytes. Même si le protocole QUIC pourrait retransmettre ces paquets, WebRTC ne le fait pas automatiquement, et la bande passante disponible n’est pas le facteur limitant ; c’est la contrainte de latence qui prime.
1s Opus @ 64kbps → 8KBAnalyse de la solution MoQ
MoQ propose de contourner la limitation en retransmettant les paquets audio jusqu’à ce que le modèle LLM consomme le contexte complet. La stratégie repose sur deux leviers : (1) utilisation de QUIC pour regrouper les 50 paquets initiaux en ~6 paquets plus gros, réduisant ainsi le nombre d’interruptions de flux, et (2) stockage temporaire des trames audio dans la RAM avec un horodatage précis. Cette approche permet de rejouer les paquets perdus sans impacter la latence perçue, car le traitement du LLM se fait à des vitesses supérieures à la vitesse réelle (ex. 20×). Le coût mémoire reste faible : deux minutes d’audio représentent environ 1 MB, négligeable pour les serveurs modernes.
En pratique, le système de MoQ attend que le LLM ait reçu le dernier segment de contexte avant de déclencher la retransmission, évitant ainsi que le modèle ne « devine » des mots manquants. Le résultat est une amélioration de la précision du STT (speech‑to‑text) et du TTS (text‑to‑speech) sans augmentation notable du trafic réseau.
Implications pour les produits OpenAI
Le choix de WebRTC expose OpenAI à des scénarios où la perte de paquets entraîne une dégradation de l’expérience utilisateur, surtout dans des environnements à connectivité instable (cellulaire, zones rurales). La solution de MoQ montre qu’une couche d’abstraction au-dessus de WebRTC, combinant QUIC et un tampon RAM horodaté, peut atténuer ces défauts sans modifier le protocole sous‑jacent. Toutefois, cette approche n’est pas standardisée par l’IETF, ce qui limite son adoption à des clients spécifiques (MoQ, Pipecat). OpenAI pourrait envisager d’intégrer directement un mécanisme de retransmission configurable ou de migrer vers des protocoles plus adaptés aux flux audio asynchrones, comme WebSocket avec contrôle de flux.