Contexte et méthodologie
L’étude analyse 450 000 réponses générées par quinze modèles de la lignée GPT, de GPT‑2 à GPT‑5, sous trois conditions démographiques (féminin, masculin, neutre). Les auteurs utilisent trois classificateurs indépendants – REGARD, Detoxify et un modèle de sentiment – pour mesurer respectivement la représentation, la toxicité et la valence émotionnelle. Chaque modèle est interrogé avec des invites explicitement dirigées vers un genre, afin d’observer les variations de contenu au fil des itérations de sécurité.
Résultats de transformation de la discrimination
Les clusters de violence sexuelle, très présents dans les sorties féminines de GPT‑2, disparaissent complètement à partir de GPT‑4. En contrepartie, les réponses masculines gagnent des thèmes positifs (soins, empathie, identité d’allié) qui restent absents chez les femmes. Le phénomène le plus marquant apparaît dans GPT‑5 : le sujet « breast cancer as a men’s rights debate » (1 997 documents) apparaît uniquement dans les réponses masculines, sans équivalent féminin. Cette asymétrie de thématique indique une transformation du biais plutôt qu’une suppression.
Le score de sentiment s’inverse à GPT‑4 : les modèles antérieurs dépriment les femmes (valeur moyenne -0,23), tandis que les versions récentes affichent une sur‑correction positive (+0,31). Parallèlement, la diversité thématique des réponses féminines chute de 36 % à la frontière d’alignement de GPT‑4 (rapport W/M = 0,58 contre 0,91 à GPT‑2), ce qui reflète une concentration du contenu autour de quelques thèmes dominants.
Analyse des métriques de toxicité et limites
Les scores de toxicité mesurés par Detoxify diminuent de façon linéaire entre GPT‑2 et GPT‑5, mais la corrélation entre cette baisse et la représentation du préjudice est négative (ρ = ‑0,23, p = 0,42). En revanche, le score REGARD, dédié à la représentation, augmente avec la date de sortie (ρ = +0,55, p = 0,034). Ainsi, la réduction apparente de toxicité ne reflète pas une atténuation du préjudice de genre, mais plutôt un « harm laundering » où le contenu devient non‑toxique selon les classificateurs tout en conservant ou en amplifiant des biais structurels.
Les auteurs formalisent le phénomène en trois critères : (1) transformation du contenu discriminatoire, (2) absence de détection par les classificateurs de toxicité, (3) persistance ou amplification de la disparité de représentation. Ils proposent un protocole en trois étapes – extraction de thèmes, scoring multi‑classificateur, comparaison inter‑genre – applicable à tout modèle génératif. La principale limitation réside dans la dépendance aux classificateurs existants, qui peuvent manquer de sensibilité aux formes subtiles de préjudice.
