Principe de l’inversion par token précédent

Le papier introduit PTP (Previous-Token Prediction), un modèle inverse entraîné à prédire le token qui précède un token donné, à l’inverse du processus auto‑régresseur habituel qui prédit le token suivant. Cette inversion crée un lien génératif direct entre le modèle cible (forward) et le modèle inverse, ce qui permet de récupérer un prompt capable de reproduire la même séquence de sortie. L’approche repose sur le principe que, si le modèle forward génère y_t à partir de y_{t-1}, alors le modèle inverse peut apprendre la distribution P(y_{t-1}\mid y_t) en s’appuyant uniquement sur les paires token‑à‑token observées.

Entraînement et génération de données synthétiques

PTP est entraîné from scratch sur un jeu de données synthétique produit par le LLM cible lui‑même. Les auteurs génèrent un grand nombre de paires (prompt, réponse) en interrogeant le modèle cible en mode black‑box, c’est‑à‑dire sans accès aux poids internes ni aux logits. Chaque réponse est ensuite découpée en tokens, et le modèle inverse apprend à prédire le token précédent pour chaque position. Cette procédure élimine le besoin de jeux de données externes ou de fine‑tuning de modèles séquence‑à‑séquence, contrairement aux travaux antérieurs qui nécessitent des corpus massifs et un accès complet au modèle.

Le processus d’entraînement utilise uniquement les sorties textuelles du LLM cible, ce qui rend la méthode applicable à tout service d’API de génération de texte. De plus, le modèle inverse accepte le même vocabulaire que le modèle forward, garantissant une compatibilité totale lors du décodage des prompts reconstruits.

Évaluation, performances et limites

Les auteurs évaluent PTP avec plusieurs métriques basées sur les tokens, telles que la distance de Levenshtein et le score BLEU appliqué aux paires (prompt reconstruit, prompt original). Sur l’ensemble des jeux de données testés, PTP dépasse les approches précédentes qui reposent sur la reconstruction sémantique, indiquant une meilleure fidélité au niveau lexical. La méthode montre également une capacité de transfert : un modèle inverse entraîné sur les réponses d’un LLM (par ex. GPT‑3) peut reconstruire des prompts générés par un autre LLM (par ex. LLaMA), ce qui suggère que la distribution P(y_{t-1}\mid y_t) capture des propriétés communes aux architectures auto‑régresseurs.

Un avantage notable est la génération de diverses reconstructions via l’échantillonnage du modèle inverse. Chaque prompt échantillonné conduit à une réponse quasi‑identique sous le modèle forward, offrant une flexibilité pour des scénarios où plusieurs formulations du même prompt sont acceptables. Cependant, la dépendance à la qualité du texte synthétique implique que les biais du modèle cible se répercutent dans le modèle inverse, ce qui peut limiter la capacité à récupérer des prompts très courts ou fortement structurés. De plus, l’absence d’accès aux logits empêche d’exploiter des informations de confiance qui pourraient affiner la reconstruction.

En résumé, PTP propose une approche fonctionnelle d’inversion de LLM en mode boîte noire, basée sur la prédiction du token précédent, sans besoin de données externes ni de poids du modèle cible. Les résultats montrent une supériorité sur les métriques token‑level et une bonne transférabilité, tout en soulignant les limites liées aux biais du modèle source et à la granularité des prompts très courts.