Présentation du remplacement

Depuis plusieurs mois, les équipes d’Amazon et d’AWS utilisaient le modèle Claude Sonnet 4.6 pour annoter les tickets d’un système interne contenant plus de 20 catégories. Le modèle, neuf mois après son lancement, offrait un bon compromis entre pertinence et prix, mais le volume de tickets était tel que les frais de token restaient élevés. En septembre, deux ingénieurs ont substitué Sonnet 4.6 par Strands Decider, un modèle de décision publié un mois plus tôt. Sur le même jeu de tickets, la version E4B de Decider a surpassé Sonnet, tout en réduisant les dépenses de 98 % et en générant des économies de plusieurs millions de dollars annuelles.

Architecture technique sur AWS

Le flux de traitement repose sur les services natifs d’AWS. Les tickets arrivent dans une file SQS, déclenchant une fonction Lambda. Celle‑ci interroge un endpoint SageMaker (instance ml.g5.xlarge : GPU A10G de 24 GB, 19 GiB de mémoire occupée par le modèle). Chaque requête dure environ 640 ms, ce qui permet à une instance de traiter ~5 600 tickets par heure. Le modèle est chargé depuis S3 au démarrage, et l’endpoint s’ajuste automatiquement en fonction du trafic. La configuration du commutateur se trouve dans AWS AppConfig et les métriques sont collectées par CloudWatch. L’ensemble du stack est décrit en CDK avec trois environnements (Beta, Gamma, Prod).

BEDROCK: Sonnet labelise chaque ticket, Decider non appelé
DUAL: Sonnet et Decider appelés en parallèle, comparaison des résultats
DECIDER: Decider labelise chaque ticket, Sonnet non appelé

Analyse des performances et des coûts

Le modèle de décision ne génère qu’un choix parmi les options, contrairement à Sonnet qui renvoie un JSON complet. Le prompt a ainsi été réduit à moins de 4 096 tokens, chaque libellé étant condensé en une phrase ou deux. Cette simplification a entraîné une chute de 74 % de la durée moyenne d’exécution des Lambdas le jour du basculement. En termes de tarif, le coût public us‑east‑1 d’une requête Decider (640 ms) équivaut à 250 $ / million de tickets à pleine capacité, voire 500 $ / million en pratique, soit 44 fois moins cher que Sonnet. Les frais Lambda, plus courts, sont également diminués.

Un phénomène inattendu a été observé : l’ordre des clés JSON influe sur les probabilités retournées, avec des variations jusqu’à 0,19. La solution adoptée consiste à trier systématiquement les clés avant l’envoi, afin d’assurer la stabilité des résultats.

Limites et enseignements

Le succès du remplacement repose sur trois conditions : le problème doit être une classification à choix fermé, le catalogue de libellés doit être stable, et la latence du chemin précédent doit être critique. Si les libellés nécessitent des explications textuelles, si le catalogue évolue fréquemment ou si le contexte dépasse quelques milliers de tokens, un modèle de décision ne pourra pas remplacer un LLM. Le mode DUAL a permis de comparer en temps réel les deux systèmes et de revenir à Sonnet en 45 secondes, démontrant l’intérêt d’un basculement contrôlé. Ces pratiques peuvent être reproduites par toute organisation souhaitant réduire les coûts d’étiquetage à grande échelle.