NVIDIA Kumo Forecast intègre un Transformer préentraîné avec récupération de motifs historiques

Présentation du modèle

NVIDIA Kumo Forecast, anciennement NV‑Tesseract Forecasting, est un prévisionneur multivarié de séries temporelles. Il repose sur un encodeur Transformer de la famille MOMENT‑1‑large, comptant environ 340 millions de paramètres, auquel s’ajoute une tête de prévision entraînable. Le modèle est distribué sous licence Apache 2.0 et est accessible via les dépôts NVIDIA/Kumo‑TS (code) et nvidia/Kumo‑Forecast (poids).

Architecture et mécanismes de prévision

Le cœur du système est un encodeur préentraîné dont les poids restent figés pendant l’entraînement de la tête de prévision. Cette séparation garantit que les représentations temporelles apprises sur de larges corpus restent stables, tandis que la tête affine les prédictions pour la tâche cible. La fenêtre d’entrée accepte des séquences de 256, 512, 1 024 ou 2 048 observations, chaque observation étant constituée d’un horodatage et d’une ou plusieurs colonnes numériques. Pour des horizons dépassant la capacité native du modèle, une extension autoregressive est proposée, ce qui permet de générer des prévisions plus longues en réutilisant les sorties précédentes comme nouvelles entrées.

import kumo
forecast = kumo.forecast(df, horizon=24, context_df=historical_df, mode="DARR")

Mode DARR et récupération de contexte

Le mode Domain‑Aware Representation and Retrieval (DARR) ajoute une étape de recherche de k‑plus‑proches‑voisins (k‑NN) dans un jeu de données historiques fourni via l’argument context_df. Le système compare les représentations encodées de la fenêtre d’entrée avec celles du contexte historique, récupère les motifs les plus similaires et les combine avec la prévision directe. Cette combinaison est contrôlable : les utilisateurs peuvent ajuster le poids relatif du chemin direct et du chemin de récupération, ce qui influence la contribution de chaque source d’information. Le découpage entre fenêtre d’entrée et contexte de récupération permet d’utiliser un jeu de données de référence beaucoup plus large que la fenêtre de prévision, tout en conservant la cohérence dimensionnelle requise par le modèle.

Cadre d’interprétabilité et limites

Kumo Forecast intègre un cadre d’interprétabilité indépendant du modèle. Lorsqu’il est activé, il génère pour chaque horizon un ensemble d’attributions de retard et de caractéristiques, des diagnostics de flux sémantique, des diagnostics de stabilité de trajectoire et, en option, des gradients intégrés appliqués aux embeddings. Ces explications sont livrées sous forme de « bundle » joint à la prévision, évitant ainsi la nécessité de concevoir une architecture distincte pour l’interprétation. Cependant, l’interprétabilité repose sur des approximations de modèle‑agnostiques ; la précision des attributions dépend de la qualité du voisinage récupéré et peut diminuer lorsque le contexte historique est hétérogène. De plus, le modèle exige que les données d’entrée soient strictement numériques et temporelles, excluant les séries contenant des variables catégorielles non encodées. Enfin, la performance du mode DARR dépend de la densité et de la pertinence du jeu de données historique : un contexte trop petit ou mal aligné peut réduire l’avantage par rapport à la prévision directe.