Contexte et objectifs
Depuis l’essai de Richard Sutton (2019) sur la « bitter lesson », les modèles d’IA privilégient les méthodes qui apprennent à partir de données brutes, en limitant les connaissances humaines intégrées. Les modèles de langage, basés sur le Transformer et la prédiction de token suivant, illustrent ce paradigme, mais conservent une étape de tokenisation manuelle (BPE ou variantes). Cartesia.ai propose de remplacer cette étape par des réseaux hiérarchiques (H‑Nets), introduits en 2025, afin de pousser l’apprentissage end‑to‑end et de réduire le coût de calcul.
Architecture et mécanisme de chunking
Un H‑Net se compose d’un encodeur, d’un réseau interne et d’un décodeur. L’encodeur transforme les octets d’entrée en représentations locales, le réseau interne agrège ces représentations en « chunks » de taille variable, et le décodeur reconstruit la séquence pour la prédiction. Contrairement à BPE, qui fixe la taille moyenne d’un token à 4,57 octets sur le jeu de données de Cartesia, le chunking dynamique ajuste la longueur des segments en fonction de la fréquence et du contexte, ce qui raccourcit la séquence effective traitée par le Transformer.
Résultats d’échelle et gains d’efficacité
Les expériences présentées couvrent deux configurations. La version à une étape (1‑stage H‑Net) montre un gain de 3 à 5 fois en efficacité de calcul par rapport à un Transformer tokenisé, mesuré en FLOP / token. La version à deux étapes (2‑stage H‑Net) dépasse un modèle open‑source de même taille (environ 1,3 M paramètres) tout en consommant 10 fois moins de données d’entraînement et de calcul. Ces gains proviennent principalement de la réduction de la longueur de séquence : chaque réduction de 30 % de la longueur entraîne une diminution proportionnelle du coût quadratique du mécanisme d’attention.
Portée au-delà du texte
Le même principe de chunking hiérarchique s’applique à des données continues (images, signaux biologiques) où la tokenisation traditionnelle est difficile. Les auteurs indiquent des prototypes en vision et en biologie qui utilisent les H‑Nets pour extraire des motifs à plusieurs échelles sans pré‑traitement discret. Cette capacité à opérer directement sur des octets ou des valeurs flottantes renforce la promesse d’une architecture « généraliste », alignée avec la philosophie de l’apprentissage à partir de données brutes. Les limites signalées concernent la complexité de l’entraînement du réseau interne, qui nécessite une supervision indirecte via la perte de prédiction et peut être sensible aux hyperparamètres de taille de chunk.
