Présentation
LookAtMyQuant est un compilateur de quantisation qui évalue l’impact de chaque composant d’un modèle sur la sortie lorsqu’il est compressé. En se basant sur cette mesure, il attribue un code de quantisation à chaque poids afin de respecter un budget de taille tout en minimisant la dégradation du modèle. Le projet est publié sous licence MIT, ce qui facilite son intégration dans des pipelines de recherche ou de production.
Méthodologie de quantisation
La version 2 du compilateur applique une quantisation post‑training en utilisant des codes de treillis. Cette approche exploite une calibration fine sur un jeu de données de référence pour déterminer les seuils optimaux. Le résultat est une représentation moyenne de 2,3 bits par poids, soit une réduction de plus de 90 % par rapport à la précision flottante 16‑bits habituelle. Le processus conserve la structure du modèle tout en adaptant localement le niveau de compression selon la sensibilité mesurée.
Performances comparatives
Sur le modèle Qwen3.5‑4B, LookAtMyQuant 2 produit un fichier de 1,23 Go. Ce fichier résout 330 bonnes réponses sur 540 problèmes mathématiques exacts, soit un taux de réussite de 61 %. En comparaison, le modèle original (non quantisé) atteint 359 réponses correctes (66 %). Le benchmark de Prism ML, Bonsai 2 Ternary 4B, génère un fichier légèrement plus petit (1,20 Go) mais ne résout que 328 problèmes (60 %). Au niveau de la divergence de Kullback‑Leibler (KL) sur un texte de validation, LookAtMyQuant affiche 0,45 nats contre 0,59 nats pour Bonsai, indiquant une meilleure préservation de la distribution de sortie.
Un autre point de comparaison provient du modèle Gemma 4 E2B, où le GGUF produit par LookAtMyQuant possède un KL 12 fois inférieur à celui du format Q4_K_M pour une taille de fichier identique. Cette amélioration substantielle montre que le choix de codes de treillis, couplé à une calibration précise, peut réduire la perte d’information bien au‑delà des méthodes de quantisation standard.
Limitations et perspectives
Les résultats publiés se limitent à des jeux de tests spécifiques (problèmes mathématiques exacts, texte de validation). Aucun benchmark large‑échelle (ex. GLUE, ImageNet) n’est fourni, ce qui empêche d’évaluer la généralisation de la méthode. De plus, la réduction à 2,3 bits par poids implique une complexité d’encodage supplémentaire qui peut augmenter le temps de décodage en inference, surtout sur du hardware sans support natif des codes de treillis. Enfin, la dépendance à une calibration précise rend la procédure sensible à la qualité du jeu de calibration ; un jeu mal représentatif pourrait entraîner une hausse du KL non anticipée.
Malgré ces réserves, la capacité à atteindre un compromis taille‑précision supérieur à des solutions concurrentes, tout en restant open‑source, positionne LookAtMyQuant comme un outil pertinent pour les déploiements de grands modèles de langage sur des environnements contraints en mémoire.