Présentation du modèle

BotPsy est un modèle de 0,8 B paramètres développé par Tether AI Research. Il repose sur l’architecture Qwen3.5‑0.8B‑Think et a été affiné pour la prise d’appels d’outils et les flux de travail agentiques. Sa taille le rend compatible avec les appareils mobiles ou les systèmes embarqués, où la mémoire et la puissance de calcul sont limitées. Le modèle est distribué sous licence Apache 2.0, disponible en formats safetensors et GGUF (bf16, Q8, Q4), ce qui facilite son intégration dans les SDK locaux comme QVAC ou llama.cpp.

Améliorations mesurées

Sur le benchmark BFCL v4, BotPsy passe de 23,4 points (modèle de base) à 44,0 points, soit une hausse de 88 %. Des gains similaires sont observés sur ACEBench (30,1 → 58,7) et τ‑bench (23,2 → 51,5). Ces augmentations placent BotPsy en tête de la catégorie ≤1,2 B paramètres, surpassant Qwen3.5‑2B‑Think (2,5× plus gros) sur cinq des six évaluations, notamment BFCL v4 (44,0 vs 37,7) et ToolSandbox (64,6 vs 41,2).

En contexte multi‑tour, le modèle obtient 82,5 points sur τ²‑bench dans le domaine télécom, contre 69,3 pour le modèle plus grand. Sur les tâches à étapes multiples du BFCL v4, il progresse de 7,5 à 46,1 points, dépassant largement Qwen3.5‑2B‑Think (23,8). Ces résultats indiquent une capacité accrue à maintenir le contexte et à orchestrer plusieurs appels d’outils.

Qualité d’instruction et sécurité

BotPsy améliore l’obéissance aux consignes : IFEval monte de 59,7 à 90,8 points, et IFBench de 22,0 à 55,9, le meilleur score de la catégorie. Les évaluations de connaissances générales montrent également une progression, GPQA Diamond passant de 33,2 à 38,1 et MMLU‑Pro de 41,6 à 48,9. En matière de sécurité, le taux de réponses dangereuses chute à 21 % contre 36 % pour le modèle de base, et sous attaques d’injection d’invite, il passe de 46 % à 31 %.

Le modèle réduit aussi le nombre de tokens de raisonnement : sur GPQA Diamond, il utilise 3 690 tokens contre 11 563 pour le modèle de base, soit un facteur 3, et diminue le taux de boucles de raisonnement de 22,9 % à 1,4 %. La fréquence des dépassements de la limite de 32 k tokens passe de 28,3 % à 0,2 %, ce qui devrait limiter la latence sur les appareils.

Limites et perspectives

Malgré ces performances, BotPsy reste sujet à des erreurs et n’est pas destiné à des usages à haut risque. La confidentialité repose sur le fait que le modèle s’exécute localement, mais aucune analyse indépendante n’a encore vérifié l’absence de fuites de données via les sorties d’outils. Le modèle nécessite environ 1,6 Go de VRAM en précision bf16, ce qui contraint son déploiement aux appareils disposant d’une mémoire graphique suffisante. Les développements futurs prévoient l’ajout de capacités P2P pour les recherches web chiffrées, un affinement local via QVAC Fabric et une orchestration hybride entre smartphone et PC, tout en renforçant les protocoles de protection des informations personnelles.