Contexte et objectif

ALTK‑Evolve, développé par IBM Research, exploite le modèle GPT‑4.1 pour créer un agent de service client capable de dépasser les performances du leaderboard τ²‑bench sans recourir à un modèle de pointe. Le benchmark τ²‑bench, fourni par Sierra, mesure la capacité d’un agent à résoudre des scénarios de service client (retail et airline) en suivant des politiques strictes et en utilisant des outils de base. L’évaluation repose sur deux indicateurs : la Mean Accuracy, moyenne des succès sur quatre essais, et le Pass^4, pourcentage de tâches résolues dans les quatre essais, reflétant la fiabilité.

Mécanisme d’apprentissage des consignes

Le système fonctionne sur le scaffold ReAct standard (boucle THINK → ACT). À chaque itération, les trajectoires d’entraînement sont analysées par le même GPT‑4.1 qui a généré l’agent. Le modèle distille les succès et échecs en règles comportementales courtes, appelées guidelines. Ces consignes sont ensuite concaténées à l’invite système, après la politique de domaine, sous forme de liste markdown. Aucun ajustement de poids ni annotation humaine n’est requis, ce qui conserve le modèle « stock ». Exemple de consignes :

# Retail agent policy
As a retail agent, you can help users:
- cancel or modify pending orders
- return or exchange delivered orders
- modify their default user address

## Guidelines learned from past task attempts (follow these carefully):
- Authenticate the user before taking any order‑related action. If email is unavailable, verify identity via full name and zip code using the find_user_id_by_name_zip API.
- Always confirm all intended changes with a clear, structured summary and require explicit user approval before executing any database‑updating action.
- Take one action per step: never combine a tool call with a user‑facing message in the same turn, and wait for the tool's result before replying.

Chaque règle possède un support count indiquant le nombre de tâches d’entraînement d’où elle provient. Trois configurations sont testées : baseline (aucune consigne), sup3 (seules les consignes avec support ≥ 3, 14 règles pour le domaine airline) et lossless (toutes les consignes, support ≥ 1).

Résultats quantitatifs

Sur le jeu de test retail, le passage de la baseline à la configuration lossless augmente la Mean Accuracy de 4,4 points (de 78,1 % à 82,5 %) et le Pass^4 de 10 points (de 57,5 % à 67,5 %). Dans le domaine airline, la Mean Accuracy progresse de 7,5 points (57,5 % → 65,0 %) et le Pass^4 de 10 points (35,0 % → 45,0 %). La configuration sup3, plus compacte, n’améliore que marginalement la précision retail (+0,2 %) et se montre la plus fiable en airline (Pass^4 = 45 % contre 40 % pour lossless). Ces écarts démontrent que le nombre optimal de consignes dépend du domaine : le retail bénéficie d’un guidage exhaustif, tandis que l’airline préfère un noyau concis.

Le coût en jetons LLM augmente proportionnellement à la longueur de l’invite, mais reste limité à l’entrée du prompt ; le nombre de tours de conversation n’évolue pas de façon significative. Ainsi, les gains de fiabilité ne proviennent pas d’interactions plus longues mais d’une meilleure information dès le départ.

Analyse technique et limites

L’approche montre que la mémoire explicite sous forme de consignes peut compenser l’absence de mise à jour de poids, en alignant le modèle sur des exigences de politique et d’outil. Cependant, la dépendance à GPT‑4.1 pour l’extraction des règles crée un point de défaillance : si le modèle génère des consignes ambiguës, l’agent reproduira ces erreurs sans correction automatique. De plus, le benchmark utilise un simulateur client basé sur GPT‑5.5, ce qui peut biaiser les performances en faveur de modèles similaires. Enfin, le gain en fiabilité reste limité (Pass^4 à 67,5 % retail), indiquant que des scénarios plus complexes ou des politiques plus nuancées nécessiteraient probablement un guidage supplémentaire ou un modèle plus puissant.