Présentation

Thinking Machines Labs Inc. a présenté Inkling 2 Small, un nouveau grand modèle de langage (LLM) destiné à automatiser les tâches d’entraînement d’IA. L’annonce coïncide avec un tour de financement de 5 milliards de dollars mené par Accel, qui porterait la valorisation de l’entreprise à 40 milliards de dollars. Fondée l’an passé par Mira Murati, ancienne directrice technique d’OpenAI, la société mise sur ce modèle pour renforcer sa position sur le marché des LLMs open‑source.

Architecture et entraînement

Le pré‑entraînement d’Inkling 2 Small a été réalisé sur un cluster de racks GB300 NVL72. Chaque rack intègre 72 cartes graphiques Blackwell Ultra et un nombre de CPU équivalent à la moitié de ce total, soit 36 cœurs par rack. Cette infrastructure a permis de compléter la phase initiale de pré‑entraînement en 68 heures. Après ce premier passage, le modèle a été affiné pendant neuf jours grâce à un workflow de renforcement de l’apprentissage, incluant plusieurs étapes intermédiaires.

Inkling 2 Small compte 594 milliards de paramètres, dont 292 millions sont dédiés à un encodeur visuel. Lors d’une requête, environ 17 milliards de paramètres sont activés, ce qui autorise le modèle à ajuster dynamiquement la puissance de calcul consommée en fonction du compromis souhaité entre qualité de sortie et coût.

Performances et applications

Pour valider ses capacités, Thinking Machines a demandé à Inkling 2 Small de fine‑tuner le modèle open‑source Qwen3.5‑4B afin d’améliorer les prévisions météorologiques. Le résultat a été une doubles des scores de prévision en 4,5 heures. Sur trois benchmarks de travail de connaissance, le modèle a surpassé Spark Open, Kimi K3 et d’autres modèles open‑source, tout en obtenant de meilleurs résultats sur plusieurs jeux de données financiers.

Grâce à son encodeur visuel, Inkling 2 Small peut analyser des images et vérifier la qualité graphique des sorties générées. Par exemple, lorsqu’on lui demande de créer une boutique e‑commerce, il inspecte le code du site pour détecter d’éventuels bugs et examine visuellement les pages produit afin de confirmer un rendu correct.

Perspectives et disponibilité

Le modèle est accessible dès le lancement via le service cloud Tinker de Thinking Machines. L’entreprise prévoit de publier les poids du modèle sous licence open‑source dès la semaine suivante, ce qui ouvrira la voie à des personnalisations post‑entraînement par les utilisateurs disposant de leurs propres jeux de données. Selon les déclarations de la société, Inkling 2 Small apprend plus rapidement que les versions antérieures, ce qui devrait réduire les coûts associés aux cycles de post‑entraînement.