Présentation de Kimi Linear
Kimi Linear est une architecture hybride d'attention linéaire qui surpasse, pour la première fois, l'attention complète dans divers scénarios, notamment les contextes courts, les contextes longs et les régimes d'apprentissage par renforcement. Au cœur de cette architecture se trouve Kimi Delta Attention (KDA), un module d'attention linéaire expressif qui étend Gated DeltaNet avec un mécanisme de contrôle plus fin, permettant une utilisation plus efficace de la mémoire RNN à états finis limités.
Fonctionnement de Kimi Linear
Le fonctionnement de Kimi Linear repose sur un algorithme spécialisé qui divise les données en blocs, appelé chunkwise. Cet algorithme utilise une variante spécialisée des matrices de transition Diagonal-Plus-Low-Rank (DPLR), qui réduit considérablement les calculs par rapport à la formulation générale DPLR tout en restant plus cohérent avec la règle delta classique. Le modèle Kimi Linear pré-entraîné comporte 3 milliards de paramètres activés et 48 milliards de paramètres au total, basé sur une combinaison hybride de KDA et de Multi-Head Latent Attention (MLA) par couche.
Performances et efficacité de Kimi Linear
Les expériences montrent que, avec une recette d'entraînement identique, Kimi Linear surpasse la MLA complète avec une marge significative dans toutes les tâches évaluées, tout en réduisant l'utilisation du cache KV de jusqu'à 75 % et en atteignant jusqu'à 6 fois le débit de décodage pour un contexte de 1 million. Ces résultats démontrent que Kimi Linear peut être un remplacement direct pour les architectures d'attention complètes avec des performances et une efficacité supérieures, y compris pour les tâches avec des longueurs d'entrée et de sortie plus longues.
Implémentation et partage de Kimi Linear
Pour soutenir les recherches ultérieures, le noyau KDA et les implementations vLLM sont open-source, et les points de contrôle du modèle pré-entraîné et réglé sont publiés. Cela permet aux chercheurs de profiter de cette architecture innovante et d'explorer ses applications potentielles dans divers domaines.
