Modèles de raisonnement optimisent la probabilité de chemins corrects

Contexte et intuition

Les modèles de langage affichent souvent une amélioration lorsqu’on leur laisse « réfléchir » plus longtemps. Cette intuition, pourtant répandue, ne tient pas compte de deux observations majeures : (1) pendant l’entraînement par renforcement, les modèles apprennent à générer des chaînes de pensée plus longues et deviennent plus précis, mais (2) forcer un modèle entraîné à prolonger arbitrairement une chaîne existante n’apporte qu’un gain limité avant de dégrader la réponse. Le phénomène d’« overthinking » montre que la longueur brute d’une chaîne n’est pas le facteur déterminant.

Modélisation comme recherche de chemin

Alex Wang propose de reformuler le raisonnement comme une recherche de chemin dans l’espace des tokens. Le point de départ est le prompt x. Un chemin z est une séquence de tokens générée par le modèle, et le dernier token produit un résultat y(z). Un vérificateur r(x, y) renvoie 1 si y est correct, 0 sinon. L’ensemble des réponses valides est noté 𝒮ₓ = {y : r(x, y)=1}. La probabilité de succès d’un prompt est alors :

pₓ = Σ₍z : y(z)∈𝒮ₓ₎ π(z|x)

où π(z|x) est la probabilité que le modèle génère le chemin z. Cette formulation montre que le modèle peut augmenter pₓ soit en multipliant le nombre de chemins différents menant à une réponse correcte, soit en concentrant la masse de probabilité sur un seul chemin très fiable.

Méthodes d’amélioration du taux de succès

Deux leviers sont identifiés. Le premier, dit « best‑of‑k », consiste à échantillonner k chemins indépendants et à retenir le premier qui atteint 𝒮ₓ. La probabilité d’échec devient (1‑pₓ)ᵏ, donc la réussite augmente monotoniquement avec k. Cette amélioration dépend uniquement du calcul supplémentaire, pas de la longueur de chaque chaîne.

Le second levier agit sur le modèle lui‑même. En collectant des prompts vérifiables, on échantillonne des chemins, on conserve ceux qui aboutissent à 𝒮ₓ, puis on les utilise pour un affinement par rejet (rejection‑sampling fine‑tuning). Cette boucle correspond exactement à l’entraînement par renforcement avec une récompense binaire :

∇θ pₓ = E₍z∼πθ(·|x)₎[ r(x, y(z)) ∇θ log πθ(z|x) ]

En pratique, on estime ce gradient avec N chemins, dont M réussissent. L’estimation se factorise en le taux de succès M/N et la moyenne du log‑likelihood des chemins réussis, ce qui explique pourquoi les modèles RL tendent à produire des chaînes plus longues mais plus ciblées.

Limites et observations

Le cadre de recherche de chemin ne garantit pas que chaque chemin converge vers la bonne réponse ; il ne fait que maximiser la probabilité globale d’en obtenir une. Ainsi, des chaînes « non fidèles » peuvent apparaître, où le texte semble logique mais ne mène pas à 𝒮ₓ. De plus, l’augmentation du nombre de chemins (best‑of‑k) implique un coût linéaire en calcul, alors que la concentration de probabilité via RL nécessite un entraînement supplémentaire et dépend de la qualité du vérificateur. Enfin, l’observation d’« overthinking » s’explique naturellement : une fois que le modèle a atteint un chemin déjà dans 𝒮ₓ, toute extension supplémentaire ne change pas r et peut même introduire des erreurs, réduisant ainsi la probabilité de succès.