Contexte et objectifs
Le registre officiel d’extensions d’EmDash repose sur le protocole AT, ce qui oblige chaque auteur à publier des versions signées depuis son compte. Cette architecture garantit l’authenticité du code, mais ne contrôle pas le contenu affiché sur plugins.emdashcms.com. Pour éviter que des listes de plugins contiennent du phishing, de l’usurpation d’identité ou des médias offensifs, EmDash a ajouté une étape de modération automatisée basée sur le modèle décisionnel Clef de Cloudflare.
Fonctionnement du modèle Clef
Clef est un modèle multimodal qui ne génère pas de texte mais renvoie des probabilités associées à des questions prédéfinies. Lors de la soumission d’un plugin, l’étiquetteur d’EmDash interroge le modèle sur neuf aspects textuels – contenu sexuel explicite, discours haineux, violence graphique, demandes d’identifiants, usurpation, escroquerie, spam, liens trompeurs et manipulation du système – ainsi que sur huit aspects visuels pour chaque icône et capture d’écran. Les liens sont évalués à partir de leur texte et de leur destination, ce qui évite les faux positifs liés aux captures d’écrans d’outils de filtrage.
Le modèle renvoie une probabilité pour chaque catégorie ; toute valeur supérieure ou égale à 0,45 déclenche l’envoi du listing à un opérateur humain. Clef ne bloque jamais automatiquement un plugin, il ne fournit qu’une recommandation de révision.
Évaluation et performances
EmDash a comparé Clef à son pipeline précédent, qui combinait deux modèles généraux pour le texte et un modèle supplémentaire pour les images. Ce dernier était plus lent et présentait davantage de points d’échec. Après plusieurs évaluations, le modèle Jev a été écarté pour des performances inférieures au seuil de référence. En revanche, Clef a satisfait les critères de vitesse et de précision.
Les tests ont consisté en trois répétitions de 21 cas de texte public, soit 63 exécutions, où Clef a toujours produit la décision attendue sans sortie invalide ni divergence entre les répétitions. Le temps de latence moyen pour la modération textuelle, au 95ᵉ centile, était de 1,64 s. De plus, le modèle a correctement traité les 37 profils de plugins et les 43 images de listings présentes dans le registre au moment de l’évaluation.
Impact sur le flux de publication
Le processus de publication reste inchangé pour les développeurs : ils utilisent le CLI d’EmDash pour créer et publier leurs extensions. Le registre exécute alors les contrôles Clef avant d’ajouter la version à la découverte. Si une révision est requise, la version signée reste accessible depuis le compte de l’auteur, tandis que l’équipe EmDash décide de son affichage.
En consolidant la modération texte et image dans un seul modèle probabiliste, EmDash simplifie l’inspection du code, accélère le traitement des soumissions et conserve une voie de secours humaine, limitant ainsi les risques d’abus tout en maintenant un modèle de publication ouvert.
