Introduction
Récemment, Anthropic et OpenAI ont annoncé leur « mode rapide » pour l'inférence de leurs modèles de codage, permettant des interactions à des vitesses significativement plus élevées. Ces deux versions de « mode rapide » sont très différentes, avec des approches techniques distinctes.
Contexte Technique
Le « mode rapide » d'Anthropic offre jusqu'à 2,5 fois plus de tokens par seconde, ce qui représente environ 170 tokens par seconde, contre 65 pour le modèle Opus 4.6. En revanche, le « mode rapide » d'OpenAI atteint plus de 1000 tokens par seconde, soit 15 fois plus que le modèle GPT-5.3-Codex qui affiche 65 tokens par seconde. La principale différence réside dans la façon dont ces deux entreprises atteignent ces vitesses : Anthropic utilise une inférence à faible taille de lot, tandis qu'OpenAI s'appuie sur des puces Cerebras spéciales.
Analyse et Implications
L'approche d'Anthropic se base sur le principe de « batching », où plusieurs utilisateurs sont regroupés pour augmenter le débit global, mais au prix d'un temps d'attente plus long pour chaque utilisateur. En réduisant la taille des lots, Anthropic peut offrir une vitesse d'inférence plus élevée, même si cela coûte plus cher. OpenAI, quant à lui, utilise les puces Cerebras pour intégrer l'ensemble du modèle dans la mémoire SRAM, ce qui permet une inférence plus rapide. Cependant, cela nécessite un modèle plus petit, comme le GPT-5.3-Codex-Spark, qui peut ne pas être aussi performant que le modèle original.
Perspective
Il est important de surveiller les limites et les inconnues de ces approches. La réduction de la taille des lots peut améliorer la vitesse, mais elle peut également augmenter les coûts. L'utilisation de puces Cerebras peut offrir des vitesses d'inférence plus élevées, mais elle nécessite également des modèles plus petits et potentiellement moins capables. Il faudra suivre de près les développements futurs pour voir comment ces approches évolueront et quels seront leurs impacts sur le marché et les utilisateurs.
