OpenAI déploie Decisions API, accélère les modèles de décision à 100 ms

Présentation du Decisions API

OpenAI a rendu son Decisions API disponible à l’ensemble de ses clients le 22 octobre 2026, après une annonce lors du developer day du 29 septembre. Le produit repose sur une version reconfigurée de ChatGPT Luna, adaptée pour réduire le temps d’inférence et le coût d’exécution. Nikunj Handa, responsable produit, indique que l’équipe a transformé Luna sans entraînement spécialisé, privilégiant la vitesse brute. Cette approche a permis de passer d’une latence de 1‑3 secondes à une fourchette de 100‑180 millisecondes, selon les premiers retours internes.

Architecture et optimisation de la latence

Le Decisions API exploite des ressources d’inférence géographiquement ciblées, ce qui limite les trajets réseau et améliore la réactivité dans les régions éloignées. OpenAI a ajouté des modalités vocales et visuelles, élargissant le spectre d’applications au-delà du texte pur. La réduction de latence a été mesurée à 0,13 s pour le flux d’actions chez Speak, contre 1,4 s auparavant, soit un gain de plus de 90 %. Cette amélioration découle d’une combinaison de compilation optimisée, de quantification des poids et de pipelines d’inférence parallélisés.

Performances comparatives et benchmarks

Sur les indices publics AIM System One Index et Artificial Analysis Decision Index, le modèle d’OpenAI se classe respectivement 8ᵉ et 14ᵉ, derrière D1 Ultra (Liquid) et Elephant‑1 (Base Lab). Le modèle Jev de TypeSafe, quant à lui, occupe les places 7ᵉ et 3ᵉ, tandis que le dernier Jev d’OpenAI se situe à la 8ᵉ position du premier indice. Dans le benchmark ludique JevMan, où les modèles jouent à Pac‑Man, le modèle Jev d’OpenAI arrive en tête, démontrant une capacité à prendre des décisions en quelques centaines de millisecondes. En image, Luna montre une calibration supérieure, ce qui explique l’intérêt des clients pour les sorties visuelles.

Implications et limites

Les premiers déploiements chez Box, Datadog, Ramp et Speak montrent que le Decisions API peut remplacer les LLM classiques dans des flux à haut débit, tout en réduisant les coûts d’inférence. Cependant, la définition d’un « bon » modèle de décision reste empirique : les critères d’intelligence, de coût, de calibration et de vitesse varient selon la charge de travail. TypeSafe recommande des essais en conditions réelles, soulignant l’absence de métriques universelles. OpenAI vise désormais une latence de 60 ms, ambition qui ouvrirait la porte à des appels d’API par image vidéo. La viabilité à grande échelle dépendra de la stabilité de la calibration multi‑modalité et de la capacité à maintenir les coûts bas malgré l’augmentation du volume de requêtes.