Thinking Machines lance Inkling, un modèle open-weights accessible

Présentation d'Inkling

Thinking Machines, la société fondée par Mira Murati, a lancé son premier modèle de base, Inkling, avec des poids ouverts accessibles à tous les développeurs. Ce modèle, entraîné à partir de zéro, comporte 975 milliards de paramètres, mais n'utilise que 41 milliards pour traiter les tâches courantes, ce qui réduit les coûts et améliore la vitesse de traitement.

Fonctionnement d'Inkling

Inkling est un modèle de type mixture-of-experts, entraîné sur environ 45 billions de jetons de texte, d'image, d'audio et de vidéo. Il peut raisonner de manière native sur ces quatre types d'entrées, mais ses sorties sont limitées au texte, y compris le code, les artefacts stylisés et les données structurées. Les développeurs peuvent personnaliser Inkling en fonction de leurs besoins spécifiques, en ajustant les paramètres pour équilibrer la vitesse de traitement et la précision.

Implications et limites

La sortie d'Inkling répond à la demande croissante de modèles d'IA ouverts et personnalisables, en particulier dans les entreprises occidentales qui cherchent des alternatives aux modèles chinois. Mira Murati a souligné l'importance de l'accessibilité, de la personnalisation et de la collaboration multimodale, qui sont au cœur de la philosophie de Thinking Machines. Inkling peut être téléchargé et personnalisé sans frais de licence coûteux, et les développeurs peuvent utiliser l'application de formation Tinker pour affiner le modèle en fonction de leurs besoins.

Analyse scientifique

Les premiers résultats de test d'Inkling montrent qu'il peut atteindre des performances de codage comparables à celles du modèle Nemotron 3 Ultra de Nvidia, mais en utilisant deux tiers de jetons en moins. Cela suggère que les modèles d'IA ouverts et personnalisables pourraient offrir une alternative viable aux modèles propriétaires coûteux. Cependant, Thinking Machines reconnaît que Inkling n'est pas aussi performant que certains des modèles d'IA les plus avancés disponibles, mais mise sur la personnalisation pour compenser cette limite.

Les développeurs peuvent utiliser Tinker pour affiner Inkling et l'exécuter sur leur propre infrastructure, ce qui leur permet de contrôler les coûts et de personnaliser le modèle en fonction de leurs besoins.