Contexte et jeu de données

Hugging Face a analysé 272 travaux de fine‑tuning supervisé (SFT) exécutés sur des GPU NVIDIA H200. Le total cumulé représente 7 382 heures GPU, avec des durées individuelles variant de 1,6 à 172,4 heures (moyenne = 23,43 h, médiane = 15,29 h). Les jobs utilisaient 1, 2 ou 4 GPU, répartis sur 1 à 4 nœuds, et cohabitaient avec d’autres charges d’entraînement ou d’inférence, ce qui introduit une contention réseau et stockage.

Limites de l’estimation FLOP

Le calcul traditionnel estime le temps à partir du nombre d’opérations flottantes (FLOP) :

T_theoretical = (6 · P · D) / (N_GPU · FLOPS_peak · MFU)
où P est le nombre de paramètres, D le nombre de tokens, N_GPU le nombre de GPU, FLOPS_peak la capacité maximale du GPU et MFU le facteur d’utilisation réel. Dans la pratique, MFU varie entre 30 % et 60 % selon la charge mémoire, la communication inter‑GPU et l’efficacité des kernels. En fixant MFU à 0,45, le modèle FLOP atteint un R² de 0,31 et une erreur absolue moyenne (MAE) de 12,41 h, soit plus de la moitié de la durée moyenne observée.

Modélisation par apprentissage supervisé

Les auteurs ont formulé la prédiction comme une régression supervisée. Chaque entrée provient exclusivement de la configuration soumise avant le lancement : hyperparamètres, taille du jeu de données, identifiant du modèle, allocation GPU, ainsi que des dérivés tels que num_eval_data (nombre total d’échantillons évalués), num_saves (nombre de checkpoints) et num_params_saved (volume I/O des checkpoints). Le modèle de référence FLOP (MFU = 0,45) est ajouté comme caractéristique baseline_time. Après sélection de 24 variables parmi 18 ensembles candidats, un régresseur CatBoost atteint R² = 0,98, MAE = 1,71 h et erreur médiane = 0,51 h en validation croisée à 5 plis.

Les caractéristiques les plus influentes sont : num_eval_data, num_trainable_params, batch_eval_size_percent, num_all_params et l’interaction num_gpus × batch_train_percent. Ces variables capturent les coûts d’évaluation et de sauvegarde, absents du calcul FLOP, ainsi que les effets non linéaires entre taille du modèle, taille du lot et nombre de GPU.

Comparaison avec d’autres modèles analytiques

Un modèle analytique plus détaillé, Calculon (Isaev et al., SC ’23), intègre le graphe de couches, le trafic mémoire et la communication inter‑device. Même après extension pour LoRA, attention groupée, bfloat16 et SwiGLU, Calculon ne réduit l’erreur que jusqu’à 11 % de la durée observée, confirmant que la majorité du temps réel provient d’opérations hors boucle d’optimisation (chargement, I/O, contention).

Les régressions linéaires (Ridge) améliorent le MAE à 7,23 h, mais plafonnent rapidement, soulignant que la relation entre configuration et durée n’est pas strictement linéaire. Les algorithmes de boosting (CatBoost, XGBoost) capturent les interactions complexes et offrent la précision requise pour un planificateur de cluster.

Implications pour la planification GPU

Un prédicteur entraîné sur des données de production permet d’estimer la durée avant le dispatch, réduisant les périodes d’inactivité des GPU et les retards en chaîne. En intégrant les coûts d’évaluation et de checkpoint, le modèle fournit une estimation réaliste sans recourir à mesures en temps réel, ce qui le rend exploitable dans les systèmes de scheduling automatisés.