Présentation du modèle Beam

Reflection AI a publié Beam, un grand modèle de langage (LLM) open source comptant 501 milliards de paramètres. Le modèle apparaît quelques mois après une levée de fonds valorisant la société à 25 milliards de dollars et après un accord de 6,3 milliards de dollars avec SpaceX pour la location d’appareils Nvidia GB300 NVL72, chaque appareil intégrant 72 cartes graphiques. Cette infrastructure a servi à l’ensemble du processus d’entraînement.

Entraînement et infrastructure

Le socle de Beam, nommé Beam Base, a été entraîné sur un cluster de 6 144 GPU pendant moins de quatre semaines. Le jeu de données comprend 23,8 trillions de tokens issus du web public et de sources commerciales, avec une part importante de code source. Pour garantir la qualité du code, Reflection AI a implémenté des filtres personnalisés par langage afin d’éliminer les fichiers de mauvaise qualité.

Après cette phase initiale, un « mid‑training » a été réalisé pour étendre la fenêtre de contexte du modèle et renforcer ses capacités de raisonnement. La troisième phase, la plus gourmande en ressources, a mobilisé 10 000 GPU GB300 et a généré 1,3 milliard de sandbox de renforcement. Ces sandbox, des environnements virtuels, ont été optimisés pour la génération de code, la recherche web et l’exécution d’agents IA. Le processus de reinforcement learning a duré quatre semaines. Un logiciel de supervision a limité les interruptions ; sur 71 incidents, le temps moyen de récupération a été de huit minutes, ce qui a maintenu le débit d’entraînement.

Performances comparatives

Beam a été évalué face à GLM‑5.2, un LLM open source contenant environ 250 milliards de paramètres de plus (≈ 751 milliards). Malgré ce désavantage en taille, Beam a surpassé GLM‑5.2 sur plusieurs tâches tout en consommant entre un tiers et un quart de l’infrastructure matérielle requise par GLM‑5.2. En outre, les tests indiquent que Beam s’approche des performances de Qwen 3.8‑Max, modèle de plus de 2 trillions de paramètres, qui a été développé par une entreprise chinoise.

Ces résultats placent Beam comme le premier LLM open source d’une startup américaine à atteindre une efficacité comparable à des modèles chinois de très grande échelle, tout en restant en deçà des modèles de pointe propriétaires comme Claude Fable 5.1 d’Anthropic.

Disponibilité et perspectives

Beam est actuellement proposé via un programme d’accès anticipé. Reflection AI prévoit de publier les poids du modèle, la documentation technique et les outils de fine‑tuning d’ici la fin du mois. La mise à disposition de ces ressources devrait accélérer l’adoption par la communauté open source, mais la dépendance à une infrastructure GPU massive demeure un obstacle pour les équipes disposant de ressources limitées.