Présentation de la mesure
Patreon, la plateforme de membership pour les créateurs, renforce ses mesures pour lutter contre les bots d'IA qui scrapent son contenu sans autorisation. La société travaille avec Cloudflare pour bloquer directement l'accès aux bots d'IA conçus pour entraîner les modèles d'IA sur les œuvres des créateurs sans permission.
Fonctionnement de la protection
Les mesures renforcées sont nécessaires car le scraping d'IA est devenu plus sophistiqué depuis que Patreon a mis en place des mesures pour décourager les crawlers d'IA en 2023. La plateforme a introduit de nouveaux outils de découverte, tels que le flux d'accueil rénové et les Quips, qui pourraient exposer plus de contenu aux crawlers. Pour contrer cela, Cloudflare propose désormais des outils qui permettent aux éditeurs de sites web de restreindre les bots d'IA, y compris un marché qui permet aux sites web de facturer les bots d'IA pour le scraping.
Technologie de contrôle
Patreon étend son travail existant avec Cloudflare pour utiliser la technologie de contrôle de crawl d'IA de l'entreprise et mettre à jour ses outils de politique et d'application d'IA. Au lieu de simplement demander aux crawlers d'IA de ne pas scraper le contenu en utilisant les fichiers robots.txt, Patreon bloque maintenant activement les bots d'IA d'entraînement.
robots.txt est un standard pour fournir des instructions aux bots sur la façon dont ils peuvent utiliser un site.
Implications et limites
Les tests des fonctionnalités ont montré que les tentatives hebdomadaires des crawlers d'IA d'accéder à Patreon sont passées de « milliers de tentatives à zéro ». Cela indique que les scrapeurs d'IA ignoraient le fichier robots.txt de Patreon et scrapaient le site malgré les demandes. Cependant, la société a déclaré qu'elle autoriserait les bots qui indexent les pages et organisent les informations qui peuvent être utilisées pour renvoyer les utilisateurs à Patreon.