Présentation

Ripple-65B Preview est un modèle dense de 65 milliards de paramètres entraîné de zéro sur 12 trillions de tokens avec une longueur de contexte maximale d’un million de jetons. Le modèle est publié sur Hugging Face, Together AI, GMI Cloud et OpenRouter, avec une diffusion prévue sur Fireworks. Sur le benchmark TerminalBench 2.1, il obtient un score de 80.52, dépassant les modèles plus volumineux tels que Reflection Beam 501B (80.1), Meta Muse Spark 816B (76.4), Thinking Machines Inkling 975B (63.8) et NVIDIA Nemotron 3 Ultra 550B (56.4).

Architecture et entraînement

L’architecture repose sur un Transformer dense modernisé : d_model = 5120 et 80 couches, avec un ratio « thin‑and‑deep » et un nombre d’en‑têtes d’attention surdimensionné. Les concepteurs ont augmenté le ratio SWA‑to‑global, réduit la fenêtre SWA et ajouté des mécanismes tels que le clipping d’activation du FFN, l’attention à portes, le NoPE global et les résidus de valeur. Le modèle maintient un MFU d’environ 40 % pendant le pré‑entraînement et le post‑entraînement, sans recours aux Mixture‑of‑Experts, sans noyaux personnalisés et sans quantisation, grâce à un sharding simple. Le processus de renforcement utilise un échantillonnage d’importance tronqué, un recentrage des scores et une pénalité linéaire de longueur, atteignant 80.5 avec seulement 1.4 M de rollouts, soit près de 70 fois moins que le modèle Reflection Beam.

Efficacité de coût et comparaison

Le coût total de R&D, incluant le pré‑entraînement, la génération de données synthétiques et les phases de post‑entraînement, s’élève à 32 M$, soit environ un dixième du coût estimé du précédent SOTA open‑weight. À titre de comparaison, le pré‑entraînement de GPT‑4 a dépassé les 100 M$, et les modèles de pointe peuvent atteindre jusqu’à 1 M$ de dépenses mensuelles. Les expériences de « model ladder » (v1.0 à v1.6) ont permis d’améliorer l’efficacité de calcul sur les tâches de code de jusqu’à 16 fois à l’échelle 4 B, mesurée par le dolma_stack CE. Les changements clés incluent l’échelle de lot et le taux d’apprentissage (StepFun), le passage du post‑norm au pré+post‑norm, l’attention à portes sigmoïde, le NoPE global et les résidus de valeur.

Implications et limites

Grâce à son faible encombrement paramétrique, Ripple‑65B peut être exécuté sur des appareils locaux tels que le NVIDIA DGX Spark, qui offrent un haut débit FLOPs avec une bande passante mémoire réduite par rapport aux accélérateurs de datacenter. Toutefois, la densité du modèle impose encore des exigences matérielles élevées, limitant son déploiement sur des machines grand public. Le modèle reste open‑weight, mais les évaluations de sécurité et de biais ne sont pas détaillées dans la communication officielle, ce qui constitue une zone d’incertitude pour les applications critiques. Les auteurs envisagent d’étendre le modèle à des boucles de rétroaction entre matériel et logiciel afin de pousser davantage la frontière du full‑stack AI.