Mistral lance Timestral, modèle de prévision temporelle à 209 M paramètres

Présentation

Timestral constitue la première famille de modèles de fondation pour séries temporelles proposée par Mistral. La gamme comprend quatre tailles – 5 M, 28 M, 123 M et 209 M de paramètres – toutes basées sur la même architecture et le même protocole d’entraînement. Le modèle le plus grand, 209 M, atteint la première place sur les trois référentiels publics majeurs (GIFT‑Eval, TIME et fev‑bench) avec seulement deux‑tiers du nombre de paramètres des solutions précédentes.

Performances et benchmarks

Sur GIFT‑Eval, le modèle 28 M surpasse Chronos‑2, qui compte près de quatre fois plus de paramètres, tandis que le 209 M devance TimesFM‑3 et Falcon‑2.0. Sur les 83 entrées comparables de GIFT‑Eval, les 35 de TIME et les 37 de fev‑bench, Timestral se classe premier sur les cinq métriques mesurées, à partir d’un seul checkpoint et sans agrégation d’ensembles. En inférence CPU, un serveur standard à 8 threads prédit une journée à partir de trois semaines d’historique à 15 minutes d’intervalle en 10 ms avec le modèle 5 M et en 140 ms avec le 209 M. Le 28 M est cinq fois plus rapide que le 209 M, et le 123 M atteint 99,8 % du score du plus grand tout en ne consommant que 75 % du temps de latence.

Architecture et innovations techniques

Le succès de Timestral repose sur trois contributions majeures : un pré‑entraînement synthétique sur un corpus hétérogène, une attention sensible aux covariables (past‑only et known‑future) et un apprentissage à long contexte. Le mécanisme de Decoupled Horizon Forecasting conserve l’historique complet dans la séquence tout en séparant les tokens de prévision, ce qui évite que les valeurs à prédire soient perdues comme contexte. La couche d’attention intègre directement les covariables catégorielles (jour de la semaine, état de la machine) sans les forcer à une échelle numérique, améliorant ainsi la capacité du modèle à exploiter les dépendances multivariées. Le pré‑entraînement synthétique génère des séries artificielles couvrant un large spectre de saisonnalités et de tendances, ce qui explique la robustesse du zéro‑shot sur des domaines où les données réelles sont rares. Enfin, Mistral Forge propose un affinement ciblé pour adapter le modèle à des secteurs spécifiques, tout en conservant la base pré‑entraînée.

Applications industrielles et limites

Dans un site industriel équipé de milliers de capteurs, Timestral peut produire des prévisions multivariées probabilistes, c’est‑à‑dire un ensemble de quantiles qui quantifient l’incertitude. Cette granularité permet de définir des seuils d’alerte adaptés aux risques réels plutôt qu’à une valeur ponctuelle. En conditionnant les prévisions sur des covariables connues (plannings de production, prévisions météo), le modèle anticipe les variations attendues et évite les faux positifs. Cependant, la dépendance à un historique de trois semaines à 15 minutes impose une charge de stockage non négligeable, et les performances CPU, bien que rapides, restent supérieures à celles d’un modèle linéaire dédié à une seule série. L’absence de GPU requis facilite le déploiement, mais limite la capacité à exploiter des parallélisations massives pour des scénarios de prévision ultra‑long terme.