Contexte et découverte

Le dépôt burner22/numbat propose un checkpoint de 14 téra‑paramètres, identifié comme le codename numbat. Ce nom a été confirmé dans la fuite du code Claude (mars 2026) où il apparaît dans un commentaire de prompts.ts. Le fichier contient 772 shards au format safetensors, totalisant environ 7,72 TB. La communauté a pu télécharger les fichiers dès le mois précédent, avec plus de 5 800 téléchargements enregistrés.

Architecture et spécifications techniques

Le modèle repose sur une pile hybride Gated DeltaNet (GDN) et Multi‑head Latent Attention (MLA), répartie sur 114 couches. Le réseau de neurones utilise un mécanisme Mixture‑of‑Experts (MoE) comportant 1 224 experts, dont 48 sont sélectionnés à chaque passage avec un expert partagé supplémentaire. La quantification finale est effectuée en NVFP4, un format 4‑bits optimisé pour les accélérateurs Trainium2 d’Anthropic. Le checkpoint représente l’étape 1 830 000 d’un entraînement prévu sur 1,96 million d’étapes, sans phase de RLHF ni de post‑training.

Processus de quantification et validation

Chaque shard occupe moins de 10,6 GB, ce qui permet un chargement complet via load_state_dict(strict=True) ou AutoModelForCausalLM.from_pretrained(..., trust_remote_code=True). La cohérence interne a été vérifiée à l’aide de deux scripts :

python -c "from safetensors import safe_open; f = safe_open('model-00001-of-00772.safetensors', framework='pt'); print(len(f.keys()))"
# → 142

et

cat model.safetensors.index.json | python -c "import json,sys; d=json.load(sys.stdin); print(d['metadata']['total_size'])"
# → 7720300817720

Ces commandes confirment que chaque fichier contient le nombre attendu de tenseurs (142) et que la taille totale déclarée correspond à la somme des shards (≈7,72 TB). Le processus de quantification NVFP4 est appliqué à chaque checkpoint asynchrone afin de permettre l’évaluation sur un sous‑ensemble de 85 Trainium2, réduisant ainsi la charge mémoire tout en conservant la précision des blocs de mise à l’échelle E4M3 et des charges utiles E2M1.

Implications et limites

Le code fourni (configuration_numbat.py et modeling_numbat.py) implémente intégralement l’architecture, incluant les méthodes NumbatForCausalLM.forward pour le tronc principal et .draft pour la couche Multi‑Token Prediction. Ainsi, il est possible d’exécuter le modèle en inférence, mais les sorties restent limitées à la phase de pré‑entraînement : aucune optimisation RLHF, aucun ajustement fin, et les poids d’origine en BF16 restent confinés au cluster d’entraînement. En pratique, l’utilisation du checkpoint requiert un dispositif capable de charger plus de 7 TB de données, même en version quantifiée, ce qui restreint son exploitation aux environnements de recherche disposant d’infrastructures de stockage et de calcul très élevées. Enfin, l’absence de documentation officielle et le caractère « mid‑pretraining » du checkpoint soulèvent des questions sur la reproductibilité et la validité des performances rapportées.