Présentation de Soofi S
Un consortium de recherche allemand a publié Soofi S, un modèle langage ouvert de 30 milliards de paramètres, qui a été entraîné entièrement sur l'infrastructure cloud IA de Deutsche Telekom. Ce modèle utilise une architecture hybride efficace en ressources, qui active seulement 3,2 milliards de ses 31,6 milliards de paramètres par jeton, ce qui permet de maintenir une vitesse de traitement constante même avec des entrées très longues.
Architecture et fonctionnement
Soofi S est un modèle de type Mixture-of-Experts (MoE), qui contient 31,6 milliards de paramètres au total, mais n'en active que 3,2 milliards par jeton généré. Cela réduit le coût de calcul et le rend plus proche d'un modèle de 3 milliards de paramètres que d'un modèle conventionnel de 30 milliards de paramètres. L'architecture de Soofi S est basée sur celle du modèle Nemotron 3 Nano de Nvidia, qui combine des couches Mamba-2 avec des couches d'attention standard.
Soofi S utilise une architecture hybride qui combine des couches Mamba-2 avec des couches d'attention standardPerformances et limites
Soofi S a obtenu les meilleurs scores parmi les modèles ouverts sur les benchmarks allemands et anglais, surpassant les modèles précédents tels que OLMo 3 32B et Apertus 70B. Cependant, il présente certaines limites, notamment une faible performance sur les tâches de mathématiques et de récupération de faits ouverts. De plus, Soofi S a du mal à extraire des mots fréquemment utilisés dans des textes longs, avec un taux de réussite qui chute à environ 3% au-delà de 32 000 jetons de contexte.
Entraînement et infrastructure
Le modèle a été entraîné entre mars et mai sur jusqu'à 512 GPU Nvidia B200 à l'infrastructure cloud IA de Deutsche Telekom, pour un total d'environ 253 000 heures de GPU. L'entraînement a été effectué en trois phases, avec un focus délibéré sur les données allemandes, qui représentent 7,2% de la mixité d'entraînement dans la première phase et 15,3% dans la deuxième phase.
