Présentation du backend

Le backend de modélisation vLLM a été amélioré pour supporter les modèles de transformers à vitesse native. Cela permet aux auteurs de modèles de faire tourner les modèles de transformers à l'intérieur de vLLM sans avoir à les porter.

Fonctionnement du backend

Le backend utilise torch.fx pour effectuer une analyse statique du graphique du modèle et identifier les modèles qui peuvent être optimisés. Il utilise ensuite ast (abstract syntax tree) pour manipuler le code source et réécrire certaines opérations.

uv pip install --upgrade vllm --torch-backend auto

Les modèles peuvent être exécutés avec le backend de modélisation de transformers en utilisant le flag --model-impl transformers. Cela compose avec les options de parallélisme habituelles, donc rien ne change dans votre configuration de service.

Performances et limites

Les performances du backend de modélisation de transformers pour vLLM ont été comparées à celles des implémentations natives de vLLM sur trois modèles Qwen3 différents. Les résultats montrent que le backend de modélisation de transformers peut atteindre des vitesses d'inférence natives pour les modèles compatibles sans avoir à écrire une seule ligne de code pour optimiser le modèle pour l'inférence.

vllm serve Qwen/Qwen3-4B --model-impl transformers

Cependant, les modèles qui utilisent l'attention linéaire ne sont pas encore pris en charge, mais le seront bientôt. Les modèles personnalisés où le code vit dans un référentiel Hub sont susceptibles de ne pas fonctionner car ils n'ont pas été écrits de manière conforme.

Implications et limites

Le backend de modélisation de transformers pour vLLM offre désormais la possibilité d'exécuter des modèles de transformers à vitesse native sans avoir à les porter. Cependant, les performances peuvent varier en fonction du modèle et de la configuration utilisés. Il est important de noter que les modèles qui utilisent l'attention linéaire ne sont pas encore pris en charge et que les modèles personnalisés peuvent ne pas fonctionner.