Contexte et adoption

En octobre, plus d’un quart des requêtes traitées par le routeur d’IA de Vercel étaient des modèles de décision, alors que les LLMs dominaient auparavant. Cette part importante reflète l’émergence d’une catégorie inventée il y a seulement un mois. TypeSafe, valorisée à 7,5 milliards de dollars après le lancement de la famille Jev, a enregistré plus de 1,5 milliard de requêtes sur OpenRouter la semaine dernière. Microsoft a annoncé le déploiement immédiat de Microsoft-Decision-1.1 sur Azure, tandis que la startup britannique Sqwish a levé 3 millions de dollars en pré‑seed pour son modèle kettei fat. L’ensemble montre une dynamique rapide entre hyperscalers et acteurs spécialisés.

Architecture et calibration des modèles de décision

Contrairement aux LLMs classiques, les modèles de décision ne génèrent pas de séquence de tokens ; ils sélectionnent une option parmi un ensemble pré‑défini et renvoient un score de confiance. Cette conception réduit le coût de calcul et la latence, deux critères cruciaux en production. Le principal défi réside dans la calibration : Diogo Almeida de TypeSafe a indiqué que la phase la plus ardue de Jev consistait à ajuster le jugement à l’aide de données synthétiques statistiquement pondérées. Sqwish propose des outils post‑entraînement qui intègrent les données propres du client pour affiner continuellement le modèle.

Enjeux de personnalisation et compétitivité

La capacité à réentraîner un modèle avec les données d’un client constitue le principal différenciateur selon Ushnish Sengupta, co‑fondateur de Sqwish. Il affirme que les clients peuvent « continuer à uploader leurs données de production » pour améliorer la pertinence du modèle. Microsoft-Decision-1.1 illustre une approche équilibrée entre coût, latence, intelligence et calibration, comme le confirme Achint Srivastava, vice‑président ingénierie du projet. Il critique les modèles « benchmaxed » qui échouent rapidement en conditions réelles, soulignant que la robustesse doit être mesurée sur des jeux de données jamais vus.

Perspectives et limites

Les acteurs anticipent une convergence entre l’intelligence de type 1 (modèles de décision) et de type 2 (LLMs de pointe), un scénario que Federica Freddi qualifie de « System One » collaborant avec « System Two ». Elle estime le marché des modèles de décision entre 10 et 50 milliards de dollars, loin des évaluations de plusieurs billions pour les LLMs. Cependant, l’absence de métriques standardisées rend difficile la comparaison objective, et la dépendance aux données synthétiques pose des risques de biais non détectés. La personnalisation reste prometteuse, mais son efficacité dépendra de la transparence des processus de calibration.