LLMs compressent les réponses en télégraphèse et économisent jusqu’à 49 % de tokens

Contexte historique et motivation

En 1866, chaque mot transmis par le câble transatlantique coûtait l’équivalent de 10 $ aujourd’hui. Cette tarification a engendré deux stratégies de compression : les codebooks, qui substituaient des phrases entières par des mots‑code, et le « cablese », un style épuré où les articles et les remplissages étaient supprimés. Aujourd’hui, les API d’IA facturent à la token, reproduisant ainsi le modèle de facturation du télégraphe. Le test « Telegraph Test » explore si les modèles de langage peuvent reproduire cette compression sans perte de compréhension.

Méthodologie du Telegraph Test

Le benchmark utilise 50 passages (environ 1 300 questions) et compare deux approches : (1) substitution via un dictionnaire fixe (codebook) et (2) génération de texte en « cablese » à l’aide d’une instruction explicite :

Write a complete record in telegraphese; drop articles and filler; abbreviate; keep every fact, number, and proper noun verbatim — in lowercase, not all caps.

Les modèles testés appartiennent à quatre familles : Gemma, Qwen, Nemotron et GLM, avec plusieurs tailles (ex. gemma‑4‑31b, qwen3.8‑27b). Chaque modèle joue le rôle de lecteur (répondant aux questions à partir d’un enregistrement) ou d’écrivain (produisant l’enregistrement compressé). Les métriques principales sont le pourcentage d’économie de tokens, l’exactitude des réponses (accuracy) et le ratio de récupération (recovery ratio = performance sur texte compressé ÷ performance sur texte brut).

Résultats quantitatifs

Le codebook ne génère qu’une économie d’environ 10 % : la plupart des textes ne correspondent pas à des entrées du dictionnaire, limitant la compression. En revanche, le style cablese obtient entre 40 % et 49 % d’économie de tokens selon le modèle, avec une variation notable : 25–34 % si le modèle produit du texte en majuscules, contre 40–49 % avec l’instruction en minuscules. Exemple de performances :

Gemma‑4‑31b (lecteur) : précision 70,9 % en texte brut, 77,5 % en cablese, ratio de récupération 1,09.

Qwen3.8‑27b (lecteur) : précision 72,3 % → 79,4 %, ratio 1,10.

Nemotron‑3‑120b (lecteur) : précision 76,1 % → 76,7 %, ratio 1,01.

Gemma‑4‑26b (lecteur) : précision 71,8 % → 76,9 %, ratio 1,07.

En mode écrivain, les économies sont : gemma‑4‑31b 40,4 %, qwen3.8‑27b 48,9 %, gpt‑5‑mini 17,7 % (dégradation), GLM‑5.3‑Flash 48,4 %.

Les ratios de récupération pour les modèles qui lisent les enregistrements compressés varient de 0,99 à 1,10, aucune différence statistiquement significative en faveur du texte brut (p < 0,0001 pour la lecture intra‑famille, p = 0,03 pour le décodage).

Sur le plan économique, le texte compressé nécessite moins de tokens en entrée lors de la lecture (117 vs 260 tokens), ce qui compense le coût supplémentaire d’une passe de décodage (~312 tokens). Le cycle complet (écriture + décodage) ne gagne pas en tokens consommés (272 vs 260), mais devient rentable après une ou deux lectures.

Analyse des implications et limites

Ces résultats montrent que les LLM intègrent implicitement la capacité à traiter des registres fortement compressés, héritage de décennies de textes télégraphiques. La compression ne pénalise pas la compréhension lorsqu’elle est consommée par d’autres modèles ; au contraire, elle peut améliorer la note de pertinence en réduisant les répétitions verbatim. Cependant, la technique dépend fortement de l’instruction : les modèles qui restent en majuscules perdent jusqu’à 34 % d’économie. De plus, le gain net en tokens n’apparaît que lorsqu’un modèle lit le texte compressé plusieurs fois ; pour un usage humain direct, le texte brut reste plus économique. Enfin, aucune modification d’architecture ou d’entraînement n’est requise, mais la méthode repose sur la disponibilité d’un prompt fiable et sur la capacité du modèle à respecter la contrainte de casse.