Présentation

Flide est une infrastructure d'inférence conçue pour les modèles de décision de type Jev. Disponible depuis la version 0.1.0 (oct. 2026) sur PyPI, elle expose l'API /v1/systemone compatible avec les modèles OneJev, Qwen3.5, Gemma 4 et plus de vingt familles de modèles ajoutées jusqu'à la version 0.1.10 (nov. 2026). L'installation se fait avec 

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
, puis le serveur démarre via 
flide serve --model OmniJev/OneJev1.6-0.8B
. Chaque requête renvoie une réponse unique, indépendante des autres options proposées, ce qui garantit la cohérence du résultat.

Mécanisme d'Exact State Forking

Le gain de vitesse provient de la technique d'Exact State Forking. Au lieu de réinitialiser le modèle à chaque nouvelle question, Flide clone l'état interne du réseau de neurones à partir d'un point de décision déjà calculé. Cette copie exacte évite la recomputation des couches déjà évaluées, réduisant ainsi le nombre d'opérations de matrice proportionnellement au nombre d'options. Le noyau utilisé (flide/kernels/gdn.py) dérive de deux implémentations de flash‑linear‑attention, ce qui minimise le trafic mémoire sur les GPU Nvidia H200 et exploite le format FP8 lorsqu'il est disponible (ex. KnowLine 35B quantisé en FP8).

Performances et comparaison

Les benchmarks publiés dans le papier arXiv (2026) mesurent la latence médiane sur un seul H200. Flide dépasse le moteur vLLM et SGLang de 9,5 × en moyenne, avec un indice de décision (DI) qui reflète le temps de réponse par option. Par exemple, le modèle OneJev passe de 120 ms sous qev à 12,6 ms avec Flide, tandis que KnowLine 35B atteint 8,4 ms en FP8 contre 80 ms sur le même matériel. Les gains restent constants quel que soit le nombre d'options (jusqu'à 256) grâce à la duplication d'état qui ne dépend pas de la taille du tableau d'options.

Limites et perspectives

Le principal facteur limitant reste la capacité de la carte H200 à stocker simultanément plusieurs états clonés ; au-delà de quelques dizaines d'options, la consommation de VRAM augmente de façon linéaire. De plus, la technique d'Exact State Forking n'est applicable qu'aux modèles dont l'architecture autorise une séparation claire entre le calcul de l'état partagé et le décodage des réponses. Les modèles de type decoder‑only avec attention croisée ne bénéficient pas du même facteur d'accélération. Enfin, la dépendance à des kernels dérivés de flash‑linear‑attention implique une licence MIT pour ces parties, alors que le reste du projet est sous Apache‑2.0, ce qui peut compliquer l'intégration dans des produits propriétaires.