Comprendre les Transformers : des scores de similarité à l'auto-attention

Introduction

L'article précédent a permis de calculer les similarités entre les requêtes et les clés. Nous allons maintenant utiliser ces similarités pour déterminer la contribution de chaque mot d'entrée lors de l'encodage du mot « Let’s ».

Contexte Technique

Le résultat de la fonction softmax nous permet de savoir à quel point chaque mot d'entrée doit contribuer à l'encodage du mot « Let’s ». Dans ce cas, « Let’s » est beaucoup plus similaire à lui-même qu'à « go ». Après application de la fonction softmax, « Let’s » obtient un poids proche de 1 (100 %) et « go » un poids proche de 0 (0 %). Cela signifie que « Let’s » contribue presque entièrement à son propre encodage, tandis que « go » contribue très peu.

Pour appliquer ces poids, nous créons une autre série de valeurs pour chaque mot. Nous créons d'abord deux valeurs pour représenter « Let’s », que nous réduisons d'échelle par 1 (puisque son poids est de 100 %). Ensuite, nous créons deux valeurs pour représenter « go », que nous réduisons d'échelle par 0 (puisque son poids est de 0 %). Enfin, nous additionnons les valeurs réduites d'échelle : le résultat est un nouvel ensemble de valeurs qui représentent le mot « Let’s », enrichi par sa relation avec tous les mots d'entrée.

Analyse et Implications

Ces valeurs finales sont appelées les valeurs d'auto-attention pour « Let’s ». Elles combinent les informations de tous les mots de la phrase, pondérées par la pertinence de chaque mot par rapport à « Let’s ». Cela nous permet de mieux comprendre comment les transformers traitent les informations et comment ils peuvent être utilisés pour améliorer les performances des modèles de langage.

Perspective

Il est important de noter que ce processus peut être répété pour chaque mot de la phrase, ce qui permet de créer un modèle de langage plus précis et plus performant. De plus, la compréhension de l'auto-attention et de ses applications peut ouvrir de nouvelles perspectives pour les chercheurs et les développeurs dans le domaine de l'IA et du traitement automatique des langues.