Présentation du modèle
PrismML a publié le 17 septembre 2026 le modèle Ternary Bonsai 2 27B. Il s’appuie sur le modèle de base Qwen3.8 27B et propose une entrée multimodale texte‑image avec une fenêtre de contexte de 262 000 tokens. Le modèle est distribué sous licence Apache 2.0, ce qui autorise une utilisation libre dans les projets commerciaux ou de recherche.
Compression et architecture
La particularité de Bonsai 2 27B réside dans l’utilisation de poids ternaires ±{−1,0,+1} combinés à un facteur d’échelle FP16 appliqué groupe‑wise. Cette représentation atteint 1,76 bits effectifs par poids, réduisant la taille totale du modèle à 5,9 GB, soit un facteur de compression supérieur à 9 par rapport à la version en pleine précision.
Le processus de quantisation est appliqué de bout en bout sur le réseau de langage, ce qui évite les pertes de précision localisées et maintient la cohérence des représentations internes.
Performances et benchmarks
Sur un ensemble de tests couvrant le raisonnement, le codage, la vision et l’utilisation d’outils, le modèle obtient un score agrégé de 83,9, soit 98,2 % du résultat de Qwen3.8 27B (85,4). Les tableaux détaillés montrent, par exemple, 81,58 % sur HumanEval+ pour le codage et 78,59 % sur CharXiv pour la vision, proches des valeurs de référence.
Ces résultats indiquent que la compression n’entraîne pas de dégradation notable dans les tâches où les erreurs s’accumulent, comme les agents de codage ou les flux de travail multimodaux.
Déploiement et efficacité énergétique
Le modèle tourne sur les GPU NVIDIA via CUDA et sur les appareils Apple grâce à MLX et des noyaux bas‑bit personnalisés. Il atteint 143 tokens/s sur un RTX 5090 et 46,8 tokens/s sur un M5 Max. La consommation énergétique mesurée sur un RTX 4090 est de 0,714 mWh/token, soit 40 % d’économie par rapport à un modèle 8 B en pleine précision.
Ces caractéristiques ouvrent la voie à des assistants locaux capables de boucles de codage, d’analyse de documents privés ou de contrôles d’outils, tout en conservant une empreinte mémoire et énergétique compatible avec les appareils grand public.
