Guide Labs présente un nouveau type de LLM interprétable

Introduction

Guide Labs, une startup de San Francisco, a présenté un nouveau type de modèle de langage interprétable, appelé Steerling-8B, qui vise à résoudre le problème de la compréhension des décisions prises par les modèles de langage profond. Ce modèle de 8 milliards de paramètres a été entraîné avec une nouvelle architecture conçue pour rendre ses actions facilement interprétables.

Contexte Technique

Les modèles de langage profond, tels que les LLM (Large Language Models), sont souvent difficiles à interpréter en raison de leur complexité et de leur grande taille. Les développeurs de Guide Labs ont proposé une solution en insérant une couche de concept dans le modèle qui permet de catégoriser les données de manière traçable. Cela nécessite une annotation de données plus importante au début, mais permet de rendre le modèle plus interprétable. Le modèle Steerling-8B a été entraîné avec cette nouvelle architecture et peut atteindre 90% des capacités des modèles existants, tout en utilisant moins de données d'entraînement.

Analyse et Implications

L'approche de Guide Labs a des implications importantes pour les applications des LLM, notamment dans les domaines réglementés tels que la finance, où les modèles doivent être contrôlables et interprétables. Les techniques de Guide Labs pourraient également être utilisées pour bloquer l'utilisation de matériaux protégés par le droit d'auteur ou pour mieux contrôler les sorties autour de sujets tels que la violence ou l'abus de drogues. De plus, l'interprétabilité des modèles de langage est cruciale dans les travaux scientifiques, où les chercheurs ont besoin de comprendre pourquoi leur logiciel a trouvé des combinaisons réussies, par exemple dans le cas du repliement des protéines.

Perspective

Les prochaines étapes pour Guide Labs consistent à développer un modèle plus grand et à proposer un accès API et agentique aux utilisateurs. L'approche de la startup pourrait avoir un impact significatif sur la façon dont les modèles de langage sont entraînés et utilisés, en rendant l'interprétabilité une priorité. Cependant, il est important de noter que l'approche de Guide Labs pourrait également éliminer certains des comportements émergents qui rendent les LLM si intéressants, tels que leur capacité à généraliser de nouvelles façons sur des sujets qu'ils n'ont pas été entraînés sur. Il faudra surveiller les développements futurs pour voir comment cette approche évolue et comment elle est reçue par la communauté scientifique et industrielle.