Présentation du modèle et du benchmark scientifique

Anthropic a publié Claude Fable 5.1, en soulignant un score de 52,6 % au nouveau Terminal‑Bench‑Science 0.1. Ce résultat dépasse largement les 24,7 % de Fable 5, les 29,0 % d’Opus 5 et les 22,4 % de GPT‑5.6 Sol. Le benchmark mesure la capacité du modèle à raisonner sur des problèmes scientifiques complexes, ce qui place Fable 5.1 comme le leader actuel dans cette catégorie.

Outre le score scientifique, les tests de génération d’images SVG (le « pelican benchmark ») permettent d’observer l’impact des différents niveaux de raisonnement sur la qualité du rendu, le temps de calcul et le coût monétaire.

Niveaux de raisonnement et coûts associés

Fable 5.1 propose cinq niveaux d’effort : low, medium, high, xhigh, max. Aucun niveau ne désactive le raisonnement, ce qui se traduit par une consommation de tokens même aux réglages les plus bas.

Low : 1 998 tokens de sortie, 23,8 s, 0,100 $ (10,017 cents). Aucun texte de raisonnement n’est présent dans le transcript.

Medium : 1 977 tokens, 23 s, 0,099 $ (9,912 cents). Le modèle saute également le raisonnement explicite.

High : 2 612 tokens, 29,6 s, 0,131 $ (13,087 cents). Un bref raisonnement apparaît, décrivant la disposition du SVG (ciel, sol, vélo, pelican).

Xhigh : 36 767 tokens, 7 min 51 s, 1,83 $. Le transcript devient détaillé : ajout d’yeux, d’ailes, de plumes, et d’ajustements de proportions pour un effet comique.

Max : 65 927 tokens, 13 min 54 s, 3,30 $. Le modèle affine chaque élément (casque, vélocité des pédales, courbes du guidon) et produit le SVG le plus complet.

Analyse des performances et limites

Le passage de low à medium montre une légère réduction de tokens (21 tokens) sans gain qualitatif, ce qui indique que le paramètre de raisonnement ne déclenche pas toujours le même pipeline interne. Le saut notable entre high et xhigh (≈34 k tokens supplémentaires) reflète un basculement vers un mode de « chain‑of‑thought » complet, où chaque décision graphique est explicitée. Cette granularité augmente le coût proportionnellement : le facteur de coût passe de 0,13 $ à 1,83 $, soit un facteur ≈14, alors que le temps de génération augmente d’environ 15×.

Le rapport coût/qualité révèle que, pour des tâches simples (SVG basique), les niveaux low/medium sont économiquement plus pertinents. En revanche, les exigences de précision graphique ou de contraintes de design (ex. : éviter la collision du bec avec le casque) nécessitent le niveau max, justifiant le surcoût uniquement dans des contextes à forte valeur ajoutée.

Un point de friction reste la cohérence du rendu animé : la conversion du SVG animé en MP4 a inversé la direction de rotation des roues, un artefact non détecté par le modèle. Cela souligne la dépendance aux outils de post‑traitement externes.

Pipeline d'animation et considérations pratiques

Pour obtenir une animation, l’auteur a réinjecté le SVG max dans le niveau high via la ligne de commande suivante :

llm logs -cx | llm -m claude-fable-5.1 -s 'animate this'

Cette opération a consommé 6 121 tokens d’entrée, 26 201 tokens de sortie, pour un coût de 1,37 $ et une durée d’environ 2 minutes. Le résultat, exporté en vidéo, montre les roues tourner dans le sens opposé attendu, confirmant que la conversion MP4 introduit une inversion de vecteur de rotation.

En pratique, les développeurs doivent donc prévoir un contrôle post‑processus sur la direction des animations SVG, ainsi qu’une estimation précise du budget token en fonction du niveau de raisonnement choisi.