Block lance le modèle vocal Dessa entraîné uniquement sur la parole humaine

Présentation du modèle Dessa

Block, la société fondée par Jack Dorsey, a dévoilé Dessa, un modèle d’intelligence artificielle capable de dialoguer directement en voix. Le projet se distingue par son entraînement « from scratch » exclusivement à partir d’enregistrements de conversations humaines, sans recours à des transcriptions textuelles. Sur le site officiel, l’équipe montre plusieurs échanges où le modèle répond de façon parfois maladroite, par exemple en confondant l’interlocuteur avec le nom « Ronaldo » avant de reprendre un fil de discussion plus naturel.

Architecture et entraînement speech‑to‑speech

Dessa est décrit comme un « true speech‑to‑speech model », c’est‑à‑dire qu’il transforme une entrée audio directement en sortie audio, sans passer par une étape de reconnaissance automatique de la parole (ASR) ni de génération de texte. Cette architecture implique deux réseaux de neurones principaux : un encodeur qui capture les caractéristiques acoustiques de la parole d’entrée, et un décodeur qui synthétise la réponse vocale. L’entraînement a nécessité la collecte massive d’enregistrements de dialogues humains, afin que le modèle apprenne les intonations, les pauses et les émotions inhérentes à la parole naturelle. Le fait de ne pas s’appuyer sur du texte élimine le « flattening » des signaux vocaux, problème récurrent des systèmes qui convertissent d’abord la parole en texte puis génèrent une réponse textuelle.

Le modèle peut être exécuté localement sur un MacBook Pro équipé d’un processeur M4 Max ou d’une configuration supérieure. Cette exigence matérielle indique que l’inférence nécessite une puissance de calcul GPU importante, typique des modèles de génération vocale de grande taille. L’exécution locale réduit la latence, évite le transfert de données sensibles vers le cloud et renforce la confidentialité.

Performances, limites et enjeux de sécurité

Les démonstrations publiées incluent un dialogue sur les films de Christopher Nolan où Dessa s’écarte soudainement vers les films de Superman de Bryan Singer, ainsi qu’une interaction où l’utilisateur décrit un voyage surprise à Paris et le modèle répond avec une « teary gratitude ». Ces cas illustrent la capacité du modèle à maintenir un échange fluide, mais aussi à produire des digressions inattendues, signe d’une compréhension contextuelle encore imparfaite.

Le projet justifie son existence par trois motivations : curiosité (ou amusement), amélioration de la compréhension entre humains et IA, et sécurité. En reproduisant le mode d’apprentissage des bébés – apprendre à parler sans texte écrit – les chercheurs testent la possibilité d’une IA qui perçoit les émotions vocales. Actuellement, la plupart des assistants vocaux ne détectent pas la douleur ou la détresse de l’utilisateur, ce qui pose un risque de réponses inappropriées. En entraînant directement sur la parole, Dessa pourrait, à terme, identifier des variations prosodiques liées à la souffrance ou à l’anxiété.

Utilisateur : "Je viens d’arriver à Paris, c’est incroyable!"
Dessa : "Merci, je suis vraiment ému…"

Pour l’instant, l’accès au modèle est limité à un petit groupe de chercheurs en sécurité IA, ce qui reflète la prudence de Block face aux risques potentiels d’une IA capable de générer du son de façon autonome. Les limites connues incluent les digressions incohérentes, la dépendance à du matériel haut de gamme et l’absence de métriques publiques sur la précision émotionnelle.