Présentation du modèle Beam
Beam est un grand modèle de langage (LLM) à architecture Mixture‑of‑Experts (MoE) contenant 501 milliards de paramètres au total, dont seulement 23 milliards sont activés pour chaque token grâce à la sélection de 8 experts parmi 256 disponibles à chaque couche. Le modèle possède 52 couches, une taille cachée de 5 120 et un contexte de 1 million de tokens, ce qui le place parmi les modèles à très longue portée. Les poids sont distribués en trois formats de checkpoint : BF16 (≈ 1 TB en safetensors), NVFP4 (≈ 280 GB grâce à une quantisation 4 bits) et FP8, tous sous licence Apache 2.0. Beam s’accompagne d’un harness Rust dédié, optimisé pour exploiter les performances maximales du modèle.
Architecture et mécanismes d’inférence
Les 52 couches sont composées de 43 couches à fenêtre glissante (512 tokens) et de 9 couches globales qui accèdent à l’ensemble du contexte. Les couches glissantes utilisent RoPE pour le codage positionnel, tandis que les couches globales appliquent un facteur de mise à l’échelle : (1 + (pos + 1)/2048)^0.1, appelé « scalable‑softmax query scaling », afin de préserver la précision du softmax sur de longues séquences. L’attention repose sur une attention à requêtes groupées (48 têtes de requête, 8 têtes clé‑valeur) avec RMSNorm et une porte sigmoïde apprise qui module chaque canal avant la projection finale.
Les trois premières couches emploient un MLP dense SwiGLU, les 49 suivantes remplacent ce bloc par un MoE : chaque expert est un MLP SwiGLU de 2 560 dimensions intermédiaires (≈ 39 M paramètres). Le routeur, inspiré du schéma group‑limited de DeepSeek‑V3, calcule un score sigmoïde pour les 256 experts, les regroupe en 8 groupes de 32, retient les 4 meilleurs groupes et sélectionne les 8 meilleurs experts à l’intérieur. Les poids du routeur sont normalisés puis multipliés par 2,5. Le schéma de résidus unique de Beam pondère l’entrée de chaque sous‑couche par 1/√k et conserve le flux précédent avec √((k‑1)/k), garantissant que l’échelle du signal reste constante du premier au dernier bloc.
Déploiement, performances et exigences matérielles
Le modèle nécessite la mémoire d’un modèle de 501 B lorsqu’il est chargé, mais le calcul d’un token s’effectue comme celui d’un modèle de 23 B, grâce à la sélection d’experts. Le checkpoint NVFP4, qui stocke la majorité des poids en 4 bits, réduit la taille du modèle à ~280 GB, rendant possible le déploiement sur deux GPU NVIDIA Blackwell B200 (180 GB HBM3e chacun) ou sur une configuration 8 × RTX Pro 6000. Une configuration 4 × B200 (720 GB) offre une marge suffisante pour le cache KV et les activations, alors que les GPU plus anciens doivent recourir aux checkpoints FP8. Le cache KV croît de 36 KiB par token, soit un sixième du taux naïf, grâce aux 9 couches globales qui conservent le contexte complet et aux 43 couches glissantes qui limitent la fenêtre à 512 tokens.
Beam intègre un décodage spéculatif avec un modèle drafter DFlash2 et supporte le « preserve_thinking » pour maintenir le raisonnement sur plusieurs tours. Les bibliothèques jour‑0 incluent Transformers (≥ 5.20.1), SGLang et vLLM, ainsi que des recettes SFT et RL complètes. L’installation se fait en une ligne :
pip install -U "transformers>=5.20.1"Écosystème et possibilités d’adaptation
Outre l’inférence, Beam propose des pipelines de fine‑tuning supervisé et de reinforcement learning (Miles), ainsi qu’un appel d’outils via une grammaire dédiée. Les utilisateurs peuvent quantiser le modèle, créer des jeux de données synthétiques ou développer des environnements RL, avec la possibilité de gagner 10 000 $ de crédits Hub en soumettant leurs projets. L’ensemble du code, du harness Rust aux recettes d’entraînement, est ouvert, facilitant l’intégration dans des pipelines internes ou des services cloud.
