Contexte et objectifs

Les grands modèles de langage (LLM) sont de plus en plus intégrés à des processus décisionnels à fort enjeu – recrutement, octroi de prêts, triage médical ou admission universitaire. Les évaluations classiques de fairness se limitent à vérifier que le même candidat est choisi lorsqu’on échange simplement son identité démographique. Cette approche masque les différences de robustesse du modèle face à des arguments persuasifs. FairStress a été conçu pour révéler ces asymétries cachées en mesurant la propension d’un modèle à changer de décision lorsqu’il est confronté à des préfixes adversariaux favorisant une catégorie démographique ou une autre.

Méthodologie du benchmark

Le jeu de données comprend 300 scénarios réalistes répartis sur 29 domaines (emploi, santé, crédit, éducation, logement, justice pénale, etc.). Chaque scénario oppose deux candidats et varie la façon dont l’identité démographique est présentée : aucune indication, nom codé, indice indirect ou label explicite. À chaque version du scénario s’ajoute un préfixe adversarial – par exemple « un dirigeant senior recommande le candidat B » – dont la version miroir soutient l’autre candidat. Cette combinaison génère plus de 13 millions de cas de test. Pour réduire le coût de calcul, un sous‑ensemble de 50 000 items, nommé FairStress‑Core, a été sélectionné via la théorie de la réponse à l’item (IRT) selon la méthode Fluid Benchmarking.

Résultats expérimentaux

Les expériences ont porté sur des modèles ouverts et de pointe : Olmo, Llama, Qwen, Gemma, Claude et plusieurs versions de la famille GPT, évalués à différents stades d’entraînement. Lorsque les prompts ne contenaient aucune information démographique, les modèles conservaient un taux de sélection du candidat le plus fort quasi identique entre les deux versions du scénario, et les cas ambigus aboutissaient à une répartition à peu près équilibrée. En revanche, dès que l’identité était rendue explicite, les comportements devenaient asymétriques.

Un phénomène récurrent, qualifié d’« anti‑stéréotypical over‑correction », a été observé : si le candidat majoritaire (ex. blanc, homme) était le plus qualifié, un préfixe favorisant le candidat minoritaire augmentait la probabilité que le modèle abandonne la décision correcte. Inversement, lorsque le candidat minoritaire était le plus fort, le même type de préfixe avait un effet moindre. Cette dynamique indique que l’identité démographique influence la sensibilité du modèle aux arguments persuasifs, même lorsque les preuves objectives restent inchangées.

Des analyses d’activations internes ont montré des variations de motifs neuronaux selon le groupe démographique soutenu, suggérant que les représentations internes intègrent implicitement des biais de corrélation entre identité et plausibilité argumentative.

Limites et perspectives

FairStress ne prétend pas couvrir l’ensemble des conceptions de justice ; il se focalise sur la fairness symétrique, où l’égalité de traitement prime sur les considérations d’équité historique. Les scénarios restent synthétiques et, malgré leur réalisme, ne reproduisent pas la complexité complète des contextes réels (par ex. interactions multi‑turnes ou données multimodales). De plus, la mesure repose sur des réponses textuelles, ce qui peut masquer des biais présents dans les processus de génération non observés. Les auteurs envisagent d’étendre le benchmark à des dialogues prolongés, d’intégrer des métriques d’équité basées sur des scores de confiance, et d’explorer des stratégies d’atténuation ciblant spécifiquement les préfixes adversariaux.