Présentation du problème
Discord a reconnu qu'un bug dans son système de modération IA a erronément banni plus de 8 000 utilisateurs au cours des deux derniers mois. Les images inoffensives, notamment des tableaux, des échiquiers, des textures de jeu et des fonds transparents blancs et gris, ont été incorrectement signalées comme du contenu nocif.
Fonctionnement de la modération IA
Le système de sécurité automatisé de Discord fonctionne en faisant correspondre le contenu téléchargé avec des bases de données de contenu nocif connu. Bien que la technologie soit conçue pour détecter le contenu illégal, l'entreprise a reconnu qu'elle peut parfois générer de faux positifs. Un modérateur humain examine le contenu, mais un bug a provoqué le système pour interdire immédiatement les comptes affectés.
Notre système signale le contenu en le faisant correspondre avec du contenu nocif connu. Ce type de correspondance de similarité peut produire de faux positifs, c'est pourquoi un membre de notre équipe de confiance et de sécurité examine toujours le contenu signalé avant toute action.Implications et limites
L'incident met en évidence l'un des défis croissants entourant la modération assistée par IA, car de nombreuses plateformes s'appuient de plus en plus sur des systèmes automatisés pour identifier les matériaux illégaux ou abusifs à grande échelle. Les utilisateurs affectés ont exprimé leur frustration sur les médias sociaux, certains argumentant que les interdictions de compte permanentes basées uniquement sur la détection automatisée peuvent avoir de graves conséquences, en particulier pour les utilisateurs qui s'appuient sur Discord pour le travail, les communautés de jeux ou les connexions sociales à longue distance.
Conséquences et réactions
Discord n'est pas le seul à faire face à des problèmes de modération en raison de systèmes automatisés. L'année dernière, les utilisateurs d'Instagram et de Facebook Groups ont signalé des suspensions de comptes non expliquées à grande échelle, que beaucoup croyaient être causées par des systèmes de modération IA. Bien que les utilisateurs aient pointé l'automatisation comme le coupable probable, Meta n'a jamais publiquement confirmé si les erreurs IA étaient responsables.
