Introduction

L'article explore l'optimisation de Gemma 4, un modèle de 26 milliards de paramètres, sur un processeur Xeon de 2016 sans GPU et avec 128 Go de DDR3. L'auteur a effectué 174 runs pour identifier les flags qui améliorent réellement les performances.

Contexte Technique

Le processeur utilisé est un Xeon E5-2620 v4 avec 8 cœurs physiques, 16 threads, 128 Go de DDR3 et pas de GPU. Le modèle Gemma 4 est exécuté sur la branche feat/gemma-4-mtp avec le vérificateur gemma-4-26B-A4B-it et le drafter MTP associé.

Les tests ont été effectués avec trois prompts différents : un court échange de chat, un document de 5 000 jetons à résumer et une demande de génération de code. Les résultats sont rapportés en termes de vitesse de décodage, en jetons par seconde, avec une graine fixe et 256 nouveaux jetons.

Analyse et Implications

Les résultats montrent que la plupart des flags n'ont pas d'impact significatif sur les performances. Cependant, certains flags, tels que la spéculation et le comptage de threads, ont un impact important. Le drafter, qui est un composant clé de la spéculation, est workload-dépendant et peut être contre-productif pour certaines tâches.

Les résultats montrent également que la spéculation autotune, qui était considérée comme la meilleure option pour la spéculation, est en réalité la pire option testée. Les réglages fixes de spéculation, tels que --draft-max, offrent de meilleures performances.

Perspective

Les résultats de cette étude soulignent l'importance de comprendre les interactions entre les différents composants d'un modèle de langage et de les optimiser en conséquence. Les flags qui améliorent les performances pour une tâche particulière peuvent ne pas être les mêmes pour une autre tâche.

Il est important de noter que les résultats de cette étude sont spécifiques au modèle Gemma 4 et au processeur Xeon utilisé. D'autres modèles et processeurs peuvent avoir des comportements différents. Cependant, les principes généraux d'optimisation et d'analyse présentés dans cette étude peuvent être appliqués à d'autres cas.