Introduction
Cloudflare a annoncé une nouvelle politique qui oblige les entreprises d'IA à payer pour accéder au contenu des éditeurs. Cette décision vise à séparer les crawlers utilisés pour les moteurs de recherche traditionnels de ceux utilisés pour les agents et la formation d'IA.
Contexte Technique
À compter du 15 septembre 2026, les paramètres par défaut de Cloudflare bloqueront les crawlers « mixtes » qui combinent la recherche, l'utilisation d'agents et la formation d'IA sur les pages qui hébergent des publicités. Les propriétaires de sites devront ajuster les paramètres pour permettre l'accès à ces crawlers. Cette modification s'appliquera aux nouveaux clients Cloudflare, aux nouveaux sites créés par les clients existants et à tous les clients gratuits.
Cloudflare souligne que la plupart des propriétaires de sites Web veulent que leur contenu soit découvrable via les moteurs de recherche et les services d'IA, mais ils veulent également protéger leur propriété intellectuelle contre une utilisation gratuite. Le géant du moteur de recherche, Google, est particulièrement visé, car il dispose d'un accès à environ deux fois plus d'informations que les autres entreprises d'IA en raison de sa politique de crawlage.
Analyse et Implications
Cette décision pourrait avoir un impact sur la façon dont les fournisseurs de modèles d'IA accèdent au contenu Web pour la formation et les services d'agents. Cloudflare propose des outils pour aider les éditeurs à contrôler leur contenu dans l'ère de l'IA, notamment un marché qui permet aux sites Web de facturer les bots d'IA pour le crawlage, appelé Pay Per Crawl. Ce système évolue désormais vers « Pay Per Use », qui permet aux éditeurs de facturer les entreprises d'IA lorsqu leur contenu crée de la valeur.
Cette modification pourrait également aider à conserver la bande passante et les ressources de calcul des éditeurs pour les fournisseurs de modèles d'IA, car les données de Cloudflare suggèrent que plus de 50 % du trafic de crawlage des crawlers d'IA est consacré à la ré-indexation de pages inchangées.
Perspective
Cloudflare travaille actuellement avec deux partenaires, Ceramic.ai et You.com, pour mettre en œuvre ce nouveau modèle. Les autres entreprises d'IA peuvent personnaliser ce modèle pour leur propre utilisation. Cette évolution pourrait conduire à un écosystème plus durable pour les éditeurs et les entreprises d'IA, en leur permettant de partager les coûts et les bénéfices de l'utilisation du contenu Web.
Il est important de surveiller les prochaines étapes de Cloudflare et de l'industrie de l'IA pour voir comment cette nouvelle politique sera mise en œuvre et quels seront ses effets à long terme sur le marché et la sécurité des données.
