LLM inference : optimiser la frontière efficace entre latence et débit

Gestion des compromis

Dans le domaine de l’inférence LLM, la notion de « frontière efficace » décrit le compromis entre latence, débit et coût. Un modèle tel que GLM‑5.3 ou Kimi K3, avec réutilisation du cache KV, sert de point de référence : il faut choisir la combinaison de paramètres qui maximise l’intelligence pour un budget donné.

Stratégies de parallélisme

Le parallélisme Tensor (TP) exploite les interconnexions NVLink pour réduire les all‑to‑all, ce qui diminue la latence au prix d’une communication intensive. L’Expert Parallelism (EP) agit différemment : un faible degré d’EP améliore les temps de réponse, tandis qu’un EP étendu sur tout un rack augmente le débit global. L’Attention Data Parallelism (ADP) réplique les couches d’attention, augmentant le débit mais ralentissant chaque requête individuelle.

Optimisations poussant la frontière

La quantisation, notamment avec les formats MXFP4 et NVFP4, réduit la précision des poids, des activations et du cache KV. Cette réduction de précision accélère le calcul et augmente le débit, mais introduit un compromis qualité‑efficacité qui dépend fortement du type de tâche. Dans de nombreux scénarios, la perte de qualité reste négligeable, ce qui déplace la frontière vers de meilleurs coûts.

L’optimisation des kernels CUDA, par exemple en améliorant la multiplication de matrices, diminue le nombre de cycles GPU nécessaires par token. Chaque gain au niveau du kernel se répercute sur l’ensemble de la pile, réduisant le coût énergétique et matériel de génération de texte.

Le décodage spéculatif anticipe les prochains tokens et ne valide que les hypothèses acceptées. Des implémentations comme EAGLE‑3, DSpark ou DFlash consomment des ressources supplémentaires, mais, lorsqu’elles sont appliquées à la génération de code où les séquences sont prévisibles, elles permettent d’éliminer des passes forward et d’augmenter le nombre de tokens générés par seconde.

La désagrégation pré‑remplissage/décodage (P/D) sépare les phases de pré‑remplissage et de décodage sur des workers dédiés. Cette séparation autorise d’ajuster le ratio de workers en fonction de la longueur des entrées, des sorties et du taux de hit du cache, optimisant ainsi le débit sans sacrifier la latence pour les requêtes critiques.