Baidu publie ERNIE 5.5 Flash Base, modèle MoE 280 B

Présentation

ERNIE‑5.5‑Flash‑Base est le nouveau modèle de base de Baidu, publié avec les poids finaux du pré‑entraînement. Il s’agit d’un réseau de type Mixture‑of‑Experts (MoE) comportant 280 milliards de paramètres au total, dont 14 milliards sont activés par token. Le modèle a été entraîné à partir de zéro sur 33,5 téra‑tokens, avec une fenêtre contextuelle maximale de 128 k tokens pendant le pré‑entraînement et la capacité d’utiliser jusqu’à 1 million de tokens pour le fine‑tuning ou l’inférence.

Architecture et mécanismes

Le cœur du modèle repose sur 43 couches Transformer, une taille cachée de 4096 et 64 têtes d’attention. Baidu introduit une Latent‑Gated Sparse Attention hybride : une couche sur sept conserve un accès token‑par‑token complet via la Multi‑head Latent Attention (MLA), tandis que les six autres utilisent la Heavily Compressed Attention (HCA). Chaque couche HCA compresse chaque bloc de 128 tokens en une entrée de cache, réduisant ainsi le volume de mémoire tout en conservant la visibilité sur l’ensemble de la séquence.

Les dimensions des têtes sont ajustées selon le coût d’attention : les couches HCA, moins coûteuses, disposent de têtes de 512 dimensions, alors que les couches MLA, plus onéreuses, utilisent des têtes de 256 dimensions. Cette différenciation permet de concentrer le budget du KV‑cache sur les couches MLA, qui conservent chaque token, améliorant la précision sur les longues dépendances.

Pour limiter le coût quadratique de l’attention dense, les couches MLA emploient une Dense Sparse Attention (DSA) : un indexeur léger attribue un score à chaque position passée, et l’attention ne s’exécute que sur les top‑k positions les mieux notées. Le coût par requête reste ainsi constant, même lorsque le contexte s’allonge, tout en conservant la même perte de pré‑entraînement que l’attention dense.

Deux optimisations supplémentaires sont intégrées à chaque couche d’attention : Low‑Rank Gated Attention, qui calcule le gate à partir du latent de requête (quatre fois plus compact que l’état caché) réduisant de 75 % le nombre de poids du gate, et Virtual Head Attention (VHA), un mélange à faible rang entre têtes qui est fusionné dans le noyau d’attention lors de l’inférence, éliminant tout surcoût.

Le module MoE utilise un Multi‑Router Latent MoE. Au lieu d’un seul routeur à top‑k, plusieurs routeurs sigmoïdes indépendants évaluent les experts. Cette redondance génère des préférences distinctes, facilite la correction d’erreurs de sélection et rend le routage moins sensible aux bruits de données ou aux changements de distribution.

Analyse des performances et limites

Le design hybride MLA/HCA, combiné à la DSA, permet à ERNIE‑5.5‑Flash‑Base de maintenir une efficacité mémoire comparable à des modèles plus petits tout en offrant la capacité d’un modèle de 280 B. La compression 128× du cache dans les couches HCA réduit le besoin en mémoire GPU de façon exponentielle, ce qui rend le fine‑tuning sur des contextes de 1 M tokens réalisable sur des clusters modernes.

Cependant, la dépendance à un seul token‑level MLA toutes les sept couches signifie que la qualité de l’attention fine‑grained repose sur un sous‑ensemble limité de paramètres. Dans des scénarios où chaque token doit être traité individuellement (ex. : code source dense), le modèle pourrait subir une légère dégradation par rapport à un modèle entièrement dense.

Le Multi‑Router MoE améliore la robustesse du routage, mais introduit une complexité supplémentaire lors du débogage et de l’interprétation des experts sélectionnés. De plus, la présence de 14 B paramètres actifs par token implique que le coût de calcul reste élevé pour les inférences à grande échelle, même si le modèle est plus économique que les alternatives entièrement denses de même taille.

En résumé, ERNIE‑5.5‑Flash‑Base propose une architecture qui réconcilie capacité massive et efficacité de calcul, tout en offrant une base ouverte pour la recherche en adaptation de domaine, en instruction tuning et en reinforcement learning. Les compromis restent liés à la granularité de l’attention et à la complexité du routage MoE, des aspects à surveiller lors de l’adoption industrielle.