Présentation du modèle
IBM Research a mis à disposition le modèle Granite Time Series PatchTST-FM-r2, évolution de la famille PatchTST. Il s’agit d’un modèle de fondation dédié aux séries temporelles, pré‑entraîné sur un corpus élargi et proposé sous licences permissives Apache 2.0 et OpenMDW 1.0. Le réseau compte environ 385 M de paramètres, accepte des contextes jusqu’à 8 192 pas et génère 99 quantiles pour chaque horizon, offrant ainsi des prévisions ponctuelles et probabilistes.
Architecture et innovations
La principale modification porte sur le remplacement des blocs transformeur classiques par des blocs conformer. Chaque bloc combine une couche d’auto‑attention multi‑têtes avec une convolution temporelle, encadrée de deux sous‑couches feed‑forward à demi‑étape. Les convolutions utilisent des noyaux de taille 3 et 5 selon le motif {5,5,3,3}, ce qui introduit un biais inductif local tout en conservant la capacité d’attention à longue portée. Le modèle emploie 50 % de recouvrement de patches pondérés par une fenêtre de Hamming et une stratégie « overlap‑and‑add » pour lisser les frontières entre patches. La profondeur a été portée de 20 à 30 blocs, renforçant la stabilité grâce à une normalisation supplémentaire.
Performances sur le benchmark GIFT‑Eval
Sur le benchmark GIFT‑Eval, qui agrège de multiples jeux de données de prévision, PatchTST‑FM‑r2 obtient un CRPS géométrique moyen de 0,467 et un MASE moyen de 0,6846. Ces scores le placent deuxième parmi les modèles zéro‑shot réplicables (sans fuite de test) au 8 septembre 2026, et premier parmi ceux à licence permissive. Lorsque l’on inclut les modèles pré‑entraînés, il reste dans le top 3 (CRPS) et top 4 (MASE), surpassant des modèles plus volumineux tels que Chronos‑2 ou Timer‑S1. Les graphiques fournis dans le blog illustrent la réduction des erreurs grâce à la combinaison attention‑convolution et à la gestion des patches.
Implications et limites
La disponibilité du code, des poids et du pipeline d’inférence permet de reproduire les résultats du benchmark, facilitant l’intégration dans des environnements de production, notamment via les produits Confluent pour le streaming. Toutefois, le modèle reste limité aux séries où la longueur maximale de 8 192 pas suffit, et la génération de 99 quantiles augmente le coût de calcul en inférence. De plus, l’absence de détails exhaustifs sur le corpus de pré‑entraînement empêche d’évaluer les biais potentiels liés aux données d’origine. Malgré ces réserves, la combinaison d’une architecture conformer, d’une licence ouverte et de performances de pointe constitue un pas notable vers la généralisation des modèles de prévision de séries temporelles.
