Présentation de Bonsai 27B
Bonsai 27B est basé sur Qwen3.6 27B et constitue le premier modèle de sa catégorie à fonctionner sur un téléphone. Il est proposé en deux variantes : Ternary Bonsai 27B et 1-bit Bonsai 27B. La première utilise des poids ternaires avec une précision FP16, tandis que la seconde utilise des poids binaires.
Architecture et fonctionnement
Les deux variantes de Bonsai 27B sont multimodales et disposent d'une tour de vision compacte en 4 bits, permettant ainsi aux workflows sur appareil de traiter des écrans, des documents et des entrées de caméra, et non seulement du texte. Le modèle prend en charge un contexte de 262K jetons et permet une accélération de décodage spéculatif sans perte.
Les poids des modèles sont disponibles sous licence Apache 2.0.Performances et évaluation
Les résultats des tests montrent que Ternary Bonsai 27B conserve 95% des capacités du modèle de référence à précision complète, tandis que 1-bit Bonsai 27B en conserve 90%. Les performances en mathématiques et en codage sont quasi inchangées, et les appels d'outils restent proches de la précision complète.
Implications et limites
L'exécution locale de modèles capables de travail agentic change la donne, car les coûts marginaux des boucles à cent étapes sont nuls et les données de l'utilisateur ne quittent pas la machine. Bonsai 27B ouvre de nouvelles possibilités pour les agents persistants sur appareil, les assistants hors ligne et les assistants qui raisonnent sur des données privées locales. Les performances du modèle atteignent 163 tok/s en 1-bit et 134 tok/s en Ternary sur une NVIDIA GeForce RTX 5090.
