Présentation du modèle

Inkling 2 Mini, publié par Thinking Machines Lab, est un modèle multimodal de type mixture‑of‑experts (MoE). Il possède environ 26 milliards de paramètres physiques, dont 3 milliards sont actifs pour chaque token traité. Le modèle accepte du texte et des images, supporte un contexte de 1 million de tokens et est distribué en format de précision mixte NVFP4/MXFP8, ce qui réduit l’empreinte mémoire pour les installations locales.

Architecture en boucle et mécanismes MoE

Le décodeur comporte 24 couches physiques ; les 12 couches centrales (6‑17) sont exécutées trois fois, ce qui donne l’équivalent de 48 passages de couche par token. Chaque passage utilise les mêmes poids, mais un contrôleur de gating insère un message provenant du passage précédent, permettant à chaque itération d’affiner le résultat. Le routage sélectionne 8 experts parmi 128 disponibles à chaque couche, les scores étant normalisés puis multipliés par 8. L’attention repose sur 24 têtes de requête et 8 têtes KV, avec une fenêtre glissante de 1 024 tokens et des couches à attention complète utilisant des convolutions dynamiques sur les clés et valeurs.

Performances et benchmarks

Sur l’Artificial Analysis Intelligence Index v5, Inkling 2 Mini se classe en tête de sa catégorie. Il dépasse Gemma 4 31B, Muse Glimmer, Qwen 3.8‑27B et Nemotron 3.5 Super VL sur 32 benchmarks sur 48, couvrant le codage, la recherche agentique, la vision et le raisonnement. En matière de codage, il mène le classement FrontierCode v2.0, égalise Qwen 3.8‑27B sur Terminal‑Bench 4.0 et se situe légèrement derrière sur AutomationBench‑AA v1.0.6. Une variante de recherche permet de réduire le nombre de boucles à 1 ou 2, accélérant l’inférence au prix d’une légère perte de qualité, bien que les évaluations détaillées restent à publier.

Utilisation pratique

Le modèle est accessible via la classe AutoModelForMultimodalLM de la bibliothèque transformers. Exemple d’inférence texte :

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id)
messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]
inputs = processor.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device)
input_len = inputs["input_ids"].shape[-1]
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

Pour la variante à boucle variable, il suffit de préciser text_config={"loop_num_passes": 2} lors du chargement du checkpoint. Le même pipeline accepte les images en remplaçant le tableau messages par une entrée contenant un champ type": "image". Des implémentations complémentaires existent pour llama.cpp, MLX et SGLang, offrant des options d’inférence sur CPU, GPU ou matériel de datacenter.