Présentation

Inkling 2 Mini, publié par Thinking Machines, est un modèle de langage de 26,4 milliards de paramètres totaux, dont 3,4 milliards sont actifs à chaque token. Il se distingue par une architecture « looped transformer » : les couches intermédiaires sont exécutées trois fois pour chaque token, ce qui augmente le nombre de passages de raisonnement sans augmenter le nombre de paramètres actifs. Le modèle occupe environ 20 Go de mémoire, ce qui le rend exploitable sur des ordinateurs portables classiques, comme le MacBook Pro utilisé lors d’un vol où il a généré un simulateur de vol en quelques minutes.

Architecture et boucle

Le cœur du système repose sur un mécanisme Mixture‑of‑Experts (MoE) combiné à la boucle. Chaque token déclenche 5,4 milliards d’activations de poids, reflétant le coût supplémentaire du triple passage des couches centrales. Les poids sont majoritairement stockés en précision NVFP4, tandis que les quatre dernières couches utilisent MXFP8, optimisant le compromis entre précision et consommation mémoire. La boucle permet d’allonger la chaîne de raisonnement interne sans consigner chaque étape, améliorant ainsi la « monitorability » : les chercheurs peuvent suivre le chain‑of‑thought (CoT) tout en conservant une lisibilité suffisante.

Performances et efficacité énergétique

Sur les benchmarks publics, Inkling 2 Mini obtient les meilleurs scores parmi les modèles ouverts de moins de 100 B paramètres : 48,2 % sur DeepSWE v1.1 et 46,5 % sur Vals Index v2.2. Il surpasse également les modèles concurrents sur les tests d’agentic coding (DeepSWE v1.1, SWE‑bench Pro v2) et se rapproche du plus grand Inkling 2 Small sur le benchmark d’optimisation de noyau PMPP‑Hard. Les expériences de boucle variable montrent que le temps d’inférence sans CoT passe de 16 s (une passe) à 37 s (trois passes), tandis que les performances sur des tâches de raisonnement sériel continuent de s’améliorer jusqu’à dix boucles, soit le double du nombre d’entraînements initiaux. En revanche, les benchmarks purement factuels (AA‑Omniscience, SimpleQA Verified, WorldVQA) restent inchangés, confirmant que la boucle n’augmente pas la capacité de stockage de connaissances.

Une mesure d’intelligence par joule réalisée par le laboratoire Hazy de Stanford place Inkling 2 Mini à 0,703 Joule‑performance sur un NVIDIA DGX Spark (MXFP8), nettement au‑dessus de Qwen 3.6‑35B‑A3B (0,430), Gemma‑4‑26B‑A4B (0,159) et Qwen 3.5‑27B (0,036). Cette supériorité énergétique résulte de la combinaison d’une petite taille active et d’une exécution en précision mixte, réduisant le coût énergétique par requête.

Implications et limites

Inkling 2 Mini montre que la boucle peut compenser partiellement la taille du modèle pour les tâches nécessitant un raisonnement long, sans sacrifier la capacité d’exécution locale. Cependant, l’absence d’amélioration sur les benchmarks factuels indique que la connaissance reste liée au nombre total de paramètres, la boucle ne servant qu’à mieux exploiter les poids existants. De plus, le coût en temps d’inférence augmente de façon quasi‑linéaire avec le nombre de boucles, ce qui peut limiter l’applicabilité en temps réel. Enfin, la disponibilité des poids ouverts ouvre la voie à des recherches sur la monitorabilité et le contrôle du CoT, mais requiert des outils d’inspection adaptés pour exploiter pleinement la visibilité offerte par la boucle.