Contexte et motivation

Le débat autour de la « soul » des grands modèles de langage (LLM) s’est intensifié depuis la conférence d’avril organisée par Anthropic, où des théologiens et philosophes ont interrogé la nature du « soul » des modèles Claude. Cette même réunion a souligné l’incapacité de Dario Amodei à fournir des réponses, révélant un fossé entre les ambitions métaphysiques et les capacités techniques actuelles. Parallèlement, les principaux acteurs – Anthropic et OpenAI – sont régulièrement critiqués pour allouer davantage de budget de calcul à l’amélioration des performances que à la recherche sur la sécurité ou l’interprétabilité.

Dans ce climat, le domaine de l’interprétabilité mécaniste, qui consiste à décortiquer les calculs internes d’un LLM, est passé d’une poignée de chercheurs en 2021 à plusieurs centaines d’actifs aujourd’hui. Cette croissance rapide montre un intérêt communautaire croissant pour des outils capables de rendre visibles les matrices numériques qui sous-tendent les réponses générées.

Architecture du TinyGPT Visualizer

TinyGPT Visualizer est un projet open source hébergé sur GitHub (github.com/oshea00/tinygpt-viz). Son principe repose sur l’extraction en temps réel des tenseurs d’activations d’un modèle de petite taille – suffisamment compact pour être affiché intégralement sur un écran. Le visualiseur intercepte chaque couche du réseau, récupère les poids des matrices d’attention et les activations des neurones, puis les projette sous forme de graphiques interactifs. Cette approche permet d’observer, par exemple, la distribution des scores d’attention entre les têtes ou la variation d’une activation neuronale au cours de la génération d’un token.

Le choix d’un modèle « tiny » répond à deux contraintes techniques : d’une part, la capacité de charger l’ensemble des poids en mémoire GPU sans fragmentation ; d’autre part, la lisibilité visuelle, car les matrices de grands modèles (milliards de paramètres) seraient illisibles même avec un zoom extrême. En limitant le nombre de paramètres, le visualiseur conserve la structure fondamentale d’un LLM tout en offrant une granularité exploitable pour l’analyse.

Analyse scientifique des apports

Le visualiseur fournit une plateforme d’expérimentation qui rend les hypothèses de l’interprétabilité mécaniste testables. En affichant les patterns d’attention, il devient possible de vérifier si certaines têtes se spécialisent dans la résolution de dépendances syntaxiques ou sémantiques, comme le suggèrent les études antérieures sur les « attention heads ». De même, la visualisation des activations neuronales permet d’identifier des « circuits » récurrents, c’est‑à‑dire des sous‑graphes de neurones qui s’activent de façon cohérente lorsqu’un concept particulier (par ex. la négation ou la temporalité) est invoqué.

Ces observations offrent deux bénéfices concrets. Premièrement, elles aident à formuler des interventions ciblées – par exemple, désactiver une tête problématique pour réduire les biais. Deuxièmement, elles enrichissent la documentation des modèles, facilitant la comparaison entre architectures et la reproduction d’expériences. Toutefois, le visualiseur reste limité aux modèles de petite taille ; les dynamiques émergentes dans les réseaux de plusieurs milliards de paramètres pourraient différer, ce qui impose une prudence lors de la généralisation des conclusions.

Perspectives et limites

En rendant l’interprétabilité accessible à un public plus large, TinyGPT Visualizer comble partiellement le manque d’outils de visualisation open source. Son code ouvert permet aux chercheurs de l’étendre à d’autres architectures (GPT‑Neo, LLaMA) ou d’ajouter des métriques de salience. Néanmoins, l’absence de benchmarks quantitatifs dans la documentation actuelle empêche d’évaluer objectivement la précision des visualisations par rapport aux mesures internes du modèle. De plus, la dépendance à un modèle réduit signifie que les insights obtenus doivent être validés sur des versions plus larges avant d’informer des décisions de production.