Présentation du classifieur CSAM d'OpenAI

Lors d’une conférence à Washington, OpenAI a présenté un nouveau modèle de classification dédié à la détection d’images à caractère sexuel impliquant des enfants, y compris les contenus générés par IA. Le dispositif est mis à disposition gratuitement pour les organisations vérifiées et s’accompagne d’un guide d’intégration destiné aux développeurs ainsi que d’un programme de formation pour les forces de l’ordre.

Fonctionnement et performances chiffrées

Le classifieur repose sur un réseau de neurones entraîné à distinguer les images réelles d’enfants des deepfakes synthétiques. Selon OpenAI, il diminue de 48 % le nombre de faux positifs présentés aux analystes humains, tout en doublant la probabilité que les images réellement abusives soient correctement identifiées. Cette amélioration s’appuie sur l’analyse de plus de 400 000 signalements liés à l’IA reçus par le CyberTipline du NCMEC en 2025, contre 67 000 en 2024, ce qui illustre l’ampleur de la charge à traiter.

Implications pour les enquêtes et le cadre légal

En réduisant les alertes erronées, le système accélère le triage des dossiers par le NCMEC, limitant le risque que des images factices masquent des abus réels. La capacité à marquer spécifiquement les contenus synthétiques répond aux exigences de la législation américaine, dont le Take It Down Act qui impose la suppression de tout matériel intime non consensuel – réel ou généré – dans les 48 heures. De plus, OpenAI a intégré un mécanisme d’avertissement dans son générateur d’images : la première tentative de création de CSAM déclenche une pause de 24 heures, un avertissement et la proposition de ressources d’aide, avec la possibilité d’une suspension définitive du compte.

Limites et perspectives

Malgré la réduction des faux positifs, le classifieur ne garantit pas l’élimination totale des contenus illicites, notamment lorsqu’ils sont combinés avec des images réelles d’enfants. Les autorités de plusieurs États, dont la Caroline du Nord, soulignent que la technologie reste une expérimentation et que les cadres juridiques doivent encore s’adapter aux deepfakes. Enfin, la disponibilité du modèle aux seules organisations « vérifiées » crée une barrière d’accès qui pourrait limiter son impact à grande échelle tant que les critères de vérification ne sont pas clarifiés.