Présentation du classifieur d'images

OpenAI a annoncé un nouveau classifieur d'images dédié à la détection du matériel d'abus sexuel d'enfants (CSAM). Conçu avec le National Center for Missing and Exploited Children (NCMEC), l’outil analyse chaque image, y compris celles générées par l’IA, et attribue un score indicatif aux équipes de modération. L’accès à l’API est offert gratuitement à un groupe sélectionné d’entreprises, ce qui permet d’intégrer la détection directement dans leurs flux de travail.

Mécanismes techniques et performances

Le système repose sur un modèle d’apprentissage profond entraîné à identifier des « signes visuels d’abus ». Lors des premiers tests, le classifieur a réduit de 48 % le nombre d’images signalées tout en conservant le même taux de détection d’images réellement abusives. Cette amélioration se traduit par une charge de travail moindre pour les réviseurs humains. De plus, les images que le modèle signale sont deux fois plus susceptibles d’être réellement abusives, ce qui augmente la précision opérationnelle. Le score fourni par le modèle oriente les examinateurs sans imposer de décision automatisée, limitant ainsi les risques de faux positifs qui pourraient affecter des contenus légitimes.

Intégration dans ChatGPT et mesures d’avertissement

Parallèlement au classifieur, OpenAI a ajouté des écrans d’avertissement dans ChatGPT. Lorsqu’un utilisateur saisit une requête susceptible de générer ou d’accéder à du CSAM, le système affiche une alerte, propose des ressources d’aide et applique une suspension temporaire de 24 heures. En cas de récidive, le compte peut être supprimé définitivement. Ces mesures s’appuient sur les retours d’organisations telles que Protect Children et la Lucy Faithfull Foundation, qui ont évalué l’efficacité des messages dissuasifs.

Guidelines pour les développeurs et outils pour les forces de l’ordre

OpenAI publie également un guideline destiné aux développeurs afin d’intégrer les contrôles CSAM dans leurs applications. Les premiers retours indiquent que plusieurs développeurs ont déjà adopté ces outils et ont commencé à signaler les contenus suspects à NCMEC. Pour les autorités, la société propose des plug‑ins dédiés, des outils d’enquête alimentés par l’IA et des capacités d’analyse de données complexes, le tout géré par des administrateurs de programme. Un guide de terrain et des sessions de formation accompagnent ces fonctionnalités, renforçant la capacité des enquêteurs à exploiter l’IA de façon sécurisée.