Présentation de Kimi K3
Kimi K3 est un modèle open source qui promet des niveaux d'intelligence Fable/Sol. Cependant, sa taille est importante, avec 2,8T de paramètres, ce qui nécessite une grande quantité de VRAM pour fonctionner.
Architecture et performances
La carte graphique AMD MI355X a 288GB de VRAM, comparable à la carte graphique NVIDIA B300. Cependant, le prix de la MI355X est environ 2,4 fois inférieur à celui de la B300. Les résultats des tests montrent que la MI355X atteint 952 tok/s sur un benchmark de 1 024 tokens d'entrée et 400 tokens de sortie, soit plus de 3,8 fois la throughput agrégée par nœud et plus de 1,3 fois la décoding single-stream par rapport à la configuration TP16 B200.
Optimisations et performances
Pour améliorer les performances de la MI355X, il a fallu effectuer certaines optimisations, notamment la correction d'une erreur de spéculation de décoding et l'optimisation du noyau de préremplissage. La correction de l'erreur de spéculation de décoding a permis de gagner environ 2,2 fois les performances single-stream et 1,7 fois les performances par flux à charge modérée. L'optimisation du noyau de préremplissage a permis de réduire le temps de préremplissage de environ 2 à 3 fois.
Implications et limites
Les résultats montrent que la MI355X offre une meilleure performance par dollar que la B300, malgré des performances légèrement inférieures. Cela suggère que la MI355X pourrait être une alternative viable aux cartes graphiques NVIDIA pour les applications de traitement de langage naturel. Cependant, il est important de noter que les performances de la MI355X peuvent varier en fonction de la charge de travail et de la configuration du système.
