Présentation

Lightreason est un laboratoire d’inférence locale et un studio interactif qui vise à réduire le temps de génération des modèles Qwen sur une seule carte NVIDIA RTX 4090. Le projet s’appuie sur les poids BF16 originaux de Qwen2.5‑3B‑Instruct (3,09 M paramètres) et du modèle texte Qwen3.6‑35B‑A3B (34,66 M paramètres). Les expériences sont réalisées sous Linux Ubuntu 24.04, avec PyTorch 2.9.1, CUDA 12.8 et Transformers 4.57.1.

Méthodes d’accélération

Lightreason combine plusieurs techniques déjà publiées : CUDA Graphs de NVIDIA, le moteur PARD2 d’AMD, Inco AI DFlash2 et le système FreeToken de FlashML. Le principe consiste à préparer à l’avance le travail GPU (graphes CUDA) et à réutiliser les caches d’attention compactés. Pour le modèle 35 B, les poids experts (64,56 GiB) sont majoritairement conservés en RAM système et transférés uniquement lorsqu’ils sont réellement sollicités. Un « draft » prédit plusieurs tokens, puis le modèle vérifie ces tokens en bloc, ce qui évite de recharger les poids à chaque itération.

git clone --depth 1 --filter=blob:none --sparse https://github.com/me-farza/lightreason.git
git -C lightreason sparse-checkout set demo_chat results3b

Le code ci‑dessus montre la procédure de clonage « sparse » qui permet de ne récupérer que les sources nécessaires au modèle 3 B, économisant ainsi plusieurs gigaoctets de données.

Résultats de performance

Sur le modèle 3 B, le débit passe de 63,0 tok/s à 139,6 tok/s (gain de 2,2×) pour six prompts différents, avec une correspondance parfaite sur les 30 mesures de Hugging Face. Le runner dédié PARD2 atteint 58,3 → 525,2 tok/s sur une réponse météo complète et 63,6 → 724,4 tok/s sur une tranche Fibonacci de 128 tokens, soit un facteur 9,0 d’amélioration.

Pour le modèle 35 B, le débit passe de 7,93 tok/s à 51,08 tok/s sur un prompt Python limité, soit un gain de 6,44×. Le texte généré diverge du modèle de référence uniquement à partir du token 116, ce qui indique que la plupart du texte reste identique. Sur 36 comparaisons retenues, le runner 3 B assisté par draft est 1,062× plus rapide que le runner précédent tout en conservant les mêmes sorties, et il reproduit les résultats de Hugging Face sur 12 cas sur 36.

Limites et portabilité

Le modèle 35 B nécessite 64,56 GiB de mémoire poids, ce qui dépasse la capacité de la VRAM de la RTX 4090 (24 GiB). Lightreason contourne ce problème en stockant la majorité des poids en RAM et en les transférant à la volée, mais cela introduit une dépendance forte à la bande passante du bus PCIe et à la disponibilité de RAM suffisante. De plus, les mesures de pointe du runner PARD2 reposent sur des poids « lab adapters » privés ; reproduire exactement ces chiffres requiert l’accès à ces poids, ce qui n’est pas fourni dans le dépôt public. Enfin, les optimisations sont fortement couplées à CUDA 12.8 et aux extensions spécifiques de NVIDIA/AMD ; la migration vers d’autres architectures GPU (AMD GPU, Intel Arc) nécessitera une ré‑implémentation substantielle.