Les LLM dépassent le rôle de simples prédicteurs de token suivant

Principe de prédiction de token en pré‑entraînement

Les modèles de type transformer génèrent les mots de façon autoregressive : à chaque itération ils ajoutent le token le plus probable à la séquence déjà produite. Le pseudo‑code suivant illustre cette dynamique :

while not done:
    tokens.append(model.sample_next_token(tokens))

Lors du pré‑entraînement, le même mécanisme est utilisé pour ajuster les poids. Le modèle parcourt chaque phrase du jeu de données, prend les tokens précédents comme contexte (prior_tokens) et augmente la probabilité du token réellement observé (actual_next_token) grâce à la fonction make_more_likely. Cette fonction encapsule la perte, le calcul du gradient et la mise à jour des paramètres, mais son effet observable est simple : le token qui a suivi dans les données devient plus susceptible d’être généré à l’avenir.

Apprentissage par renforcement avec récompenses vérifiables (RLVR)

Après le pré‑entraînement, les LLM modernes subissent une phase de post‑entraînement où l’objectif change. Le code ci‑dessous montre la boucle RLVR :

for task in training_tasks:
    for explored_tokens in model.explore(task):
        reward = evaluate_outcome(task, explored_tokens)
        for position in range(len(explored_tokens)):
            prior_tokens = task + explored_tokens[:position]
            explored_next_token = explored_tokens[position]
            model.make_more_likely(
                explored_next_token,
                after=prior_tokens,
                according_to=reward,
            )

Ici, le modèle génère de nouvelles séquences (explored_tokens) qu’il n’a jamais vues dans les données d’origine. Chaque séquence reçoit un score (reward) qui reflète la qualité de la réponse selon une fonction d’évaluation externe. La même fonction make_more_likely augmente alors la probabilité du token exploré, non pas parce qu’il était présent dans le corpus, mais parce qu’il a contribué à un résultat hautement récompensé. Cette différence de motivation – conformité aux données vs optimisation d’une récompense – modifie fondamentalement la signification du « prédicteur de token suivant ».

Impact sur le modèle mental du LLM

Comparer un LLM à un moteur d’échecs clarifie la distinction. Un moteur entraîné uniquement sur des parties de grands maîtres prédit le coup le plus fréquent dans la base de données – il agit comme un « prédicteur de coup suivant ». Un moteur qui a exploré exhaustivement l’arbre des coups, en évaluant la probabilité de victoire à chaque position, choisit le coup qui maximise le gain, indépendamment de la fréquence historique. De la même façon, un LLM post‑entraîné par RLVR ne se contente plus de reproduire du texte existant ; il génère des réponses qui maximisent une fonction de récompense, qu’il s’agisse d’utilité, de pertinence ou de conformité à des consignes humaines (RLHF).

Limites et perspectives

Le cadre « prédicteur de token suivant » décrit correctement la forme du mécanisme – une boucle qui ajoute un token à la fois – mais il masque la nature des signaux d’apprentissage qui guident cette boucle. L’absence de métriques publiques sur la distribution des récompenses ou sur la proportion de tokens issus d’exploration rend difficile l’évaluation quantitative de l’influence de RLVR. De plus, la dépendance à des fonctions de récompense conçues manuellement introduit un biais de conception qui peut conduire à des comportements inattendus. Future work devra fournir des audits plus transparents des processus de post‑entraînement afin de quantifier précisément le glissement entre imitation de données et optimisation de récompenses.