Présentation de MiniMax
MiniMax Group Inc., un développeur d'intelligence artificielle basé à Shanghai, lève 2 milliards de dollars dans le cadre d'une opération de financement. Selon Bloomberg, plus de la moitié des fonds proviendront de la vente d'actions nouvellement émises, tandis que le reste sera obtenu grâce à l'émission d'obligations convertibles.
Architecture et fonctionnement de MiniMax-M3
MiniMax a développé une série de modèles de langage open-source, dont le dernier, MiniMax-M3, comporte 427 milliards de paramètres et peut traiter des invites contenant jusqu'à 1 million de jetons. Le processus de réponse à une invite comprend deux étapes principales : les phases de préremplissage et de décodage. MiniMax affirme que M3 peut effectuer ces étapes 9 et 15 fois plus rapidement, respectivement, que son précédent modèle phare, grâce à une technologie appelée MiniMax Sparse Attention (MSA).
La MSA utilise une approche d'apprentissage automatique appelée FlashAttention pour réduire le nombre de fois où un modèle de langage déplace des données entre la SRAM et la HBM, ce qui accélère l'inférence. La MSA optimise également les performances du modèle de autres manières, en utilisant une technique appelée block-sparse prefill pour aider M3 à comprendre plus rapidement les invites importantes, et un module de quantification pour compresser certaines des données générées par le modèle de langage, réduisant ainsi les exigences de mémoire.
Implications et limites
MiniMax génère des revenus grâce à une plate-forme cloud qui fournit un accès à des versions hébergées de ses modèles, ainsi que des applications de génération multimédia payantes destinées aux consommateurs. Le PDG de MiniMax, Yan Junjie, a annoncé son intention de renoncer à son salaire jusqu'à ce que l'entreprise développe une intelligence artificielle générale (AGI), et de donner 5 % de ses actions pour financer les incitations des employés et les projets open-source.
MSA utilise FlashAttention pour réduire les déplacements de données entre SRAM et HBMLes plans de MiniMax pour développer des modèles de langage open-source et son engagement en faveur de l'intelligence artificielle générale pourraient avoir des implications importantes pour l'industrie, mais les défis liés au développement de tels modèles et aux exigences de mémoire et de calcul associées sont considérables.
