Présentation du modèle

Moonshot AI a dévoilé Kim K3.1 Pro, une version post‑entraînée du LLM Kimi K3 publié en juillet. Le nouveau modèle comporte 3 000 000 000 000 de paramètres répartis sur 896 réseaux neuronaux, dont seulement 16 sont activés simultanément afin de réduire les coûts d’inférence.

Architecture et optimisation mémoire

Kim K3.1 Pro intègre Kimi Delta Attention, implémentation propriétaire du mécanisme Gated DeltaNet. Cette technologie diminue la consommation de RAM du module d’attention lors du traitement des invites, ce qui allège la charge mémoire sans sacrifier la précision. Le post‑entraînement a requis une puissance de calcul nettement supérieure aux projets antérieurs, grâce à une version améliorée de la pile de post‑entraînement, à des contrôles de qualité automatisés et à une infrastructure plus efficace.

Performances sur les benchmarks

Sur le benchmark de génération de code 3D BenchCAD, Kim K3.1 Pro a atteint 92,7 %, soit moins de quatre points de pourcentage derrière les modèles concurrents Astra et Claude Opus 5.5. Le modèle peut créer des modèles 3D statiques et les animer, comme le montre une simulation interne de mouvements humains et la génération de prototypes de jeux vidéo, tâches réputées très exigeantes en code.

En matière de programmation générale, le modèle a obtenu 65,7 % au benchmark Terminal‑Bench 4.0, dépassant Astra de plus de 7 % mais restant légèrement en retrait d’Opus 5.5. Il a également surpassé les deux concurrents sur le test OfficeQA Pro v2, dédié à l’analyse financière complexe.

En revanche, les scores sur les benchmarks de cybersécurité sont inférieurs à ceux d’Astra et d’Opus 5.5. Moonshot AI explique que les données liées à la cybersécurité ont été volontairement exclues du jeu de données post‑entraînement pour limiter les risques de mauvaise utilisation. L’entreprise prévoit d’ajouter des capacités d’analyse de vulnérabilités plus avancées dans les futures itérations.

Disponibilité et perspectives

Kim K3.1 Pro est proposé dès maintenant via les services cloud payants de Moonshot AI. Les poids du modèle seront rendus open‑source d’ici le 4 novembre, offrant ainsi la possibilité aux chercheurs de reproduire les résultats et d’explorer des améliorations.