Mamba intègre une distillation cross‑architecture et atteint une perplexité proche du Transformer

Contexte et motivations

Les modèles à états d'espace (State‑Space Models, SSM) comme Mamba gagnent en popularité face aux Transformers grâce à une consommation mémoire réduite et un débit supérieur en génération. Malgré ces avantages, la communauté possède une expertise étendue sur l'entraînement des Transformers et dispose d’un grand nombre de modèles pré‑entraînés, notamment le modèle Pythia‑1B. L’enjeu est donc de transférer les performances d’un tel enseignant vers une architecture SSM sans recourir à des blocs d’attention hybrides, qui ont jusqu’ici été jugés nécessaires pour conserver la qualité du modèle enseignant.

Méthodologie de distillation en deux étapes

Les auteurs proposent une procédure en deux phases. La première phase consiste à distiller le Transformer vers une version linéarisée de l’attention en appliquant une adaptation du kernel trick. Cette transformation conserve les corrélations de séquence tout en éliminant les opérations d’attention explicites, ce qui facilite le passage vers une architecture purement SSM. La seconde phase prend le modèle linéarisé comme enseignant et le transmet à un Mamba adapté qui ne comporte aucun bloc d’attention. Le Mamba utilisé intègre l’input selectivity dans son couche S6 ainsi que des opérations de convolution et de gating, caractéristiques qui différencient cette version des SSM antérieurs.

Le protocole d’entraînement mobilise 10 milliards de tokens au total, répartis entre les deux étapes selon une allocation étudiée dans une analyse de sensibilité. Les expériences sont menées à l’échelle 1 milliard de paramètres, ce qui correspond à la taille du modèle enseignant Pythia‑1B.

Résultats et analyses

Le modèle Mamba distillé atteint une perplexité de 14,01 sur le jeu de validation, très proche de la perplexité 13,86 du Transformer enseignant. Cette proximité se confirme sur la plupart des tâches en aval, bien que des écarts subsistent sur les benchmarks nécessitant un rappel en‑contexte important. Les auteurs détaillent plusieurs ablations : variation de l’architecture du mélangeur de séquence (attention linéarisée vs SSM pur), étude de l’échelle de modèle (de 0,5 B à 2 B paramètres) et impact du nombre total de tokens de distillation. Les résultats montrent que la performance du Mamba distillé dépend davantage du nombre de tokens alloués à la première phase que du simple agrandissement du modèle étudiant.

Une analyse de sensibilité révèle que réduire la proportion de tokens dédiés à la phase linéarisée entraîne une hausse de la perplexité supérieure à 0,2 point, tandis qu’une allocation excessive n’apporte aucun gain supplémentaire. Cette observation soutient l’hypothèse selon laquelle la qualité du « teacher » linéarisé est le facteur limitant de la distillation.

En résumé, la combinaison d’une initialisation rigoureuse via le kernel trick et d’une architecture Mamba pure permet de surmonter les limites observées dans les approches hybrides antérieures. Le travail ouvre la voie à l’adoption plus large des SSM en exploitant les modèles Transformers déjà disponibles, tout en conservant une efficacité mémoire et un débit supérieurs.