Présentation du modèle
DaisyRose-27B est le premier modèle de RadixArk, dérivé de l’architecture Qwen3.8‑27B. Il conserve le tokenizer, le modèle de chat, la compréhension d’images et la fenêtre de contexte de 256 K tokens du modèle de base. Le modèle est publié sous licence Apache 2.0 et peut être servi avec SGLang ou DSpark pour le décodage spéculatif.
Méthodologie d’entraînement
Le modèle a été entraîné pendant 18 jours sur 144 GPU Nvidia H200, soit 63 000 GPU‑heures. Le jeu de données comprend 1 200 tâches sélectionnées parmi plus de 1 000 000 proposées par Eigent AI. Chaque tâche cible une erreur spécifique du modèle Qwen3.8‑27B, impose plusieurs étapes dépendantes et exige jusqu’à 1,5 heure d’exécution en sandbox, avec plus de 100 appels d’outils et plus de 256 K tokens de sortie. Les sessions d’entraînement atteignent 1 M tokens, puis sont découpées en trajectoires via la technique de « harness summarization ».
RadixArk utilise le framework d’apprentissage par renforcement Miles en mode totalement asynchrone : 128 GPU exécutent les agents, 16 GPU supplémentaires entraînent le modèle, et le modèle mis à jour est redistribué aux 128 GPU à chaque itération. Cette architecture a permis d’atteindre un taux d’utilisation des FLOPs (MFU) de 37 % contre 16 % pour le trainer open‑source basé sur Megatron, ce qui se traduit par une réduction de 57 % du temps GPU nécessaire. Sur des modèles Mixture‑of‑Experts, le gain dépasse 6 ×.
Performances et évaluations
Sur le benchmark Terminal‑Bench 4.1, le taux de réussite pass@1 passe de 5,6 % à 12,0 %, soit une amélioration de plus de 100 %. Les scores sont calculés en prenant le meilleur résultat entre les exécutions BF16 et FP8, dont l’écart reste inférieur à un point lorsqu’ils sont tous deux disponibles. DaisyRose‑27B surpasse Qwen3.8‑27B sur l’ensemble des benchmarks cités, incluant le raisonnement, le suivi d’instructions et le codage.
Le débit moyen d’entraînement a atteint 16 800 tokens / s sur les 144 GPU, contre 8 300 tokens / s pour le trainer open‑source, soit un facteur 2 d’accélération de bout en bout. La stabilité a été maintenue pendant les neuf semaines de formation, avec une constance du MFU et du débit.
Déploiement et efficacité opérationnelle
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:30000/v1",
api_key="none",
)
response = client.chat.completions.create(
model="DaisyRose-27B",
messages=[{"role": "user", "content": "How many positive divisors does 360 have?"}],
temperature=1.0,
top_p=0.95,
extra_body={"top_k": 20, "min_p": 0.0},
)
print(response.choices[0].message.reasoning_content)
print(response.choices[0].message.content)
Le serveur écoute sur le port 30000 et renvoie le raisonnement dans le champ reasoning_content et la réponse finale dans content. Le service d’exécution des sandboxes, basé sur le projet open‑source AgentENV, a créé près de 944 000 environnements, avec un taux de succès de création supérieur à 99 % et une réduction de 80 % des coûts cloud par rapport aux fournisseurs classiques. Ces chiffres illustrent la viabilité d’un entraînement à grande échelle à coût maîtrisé.