Contexte et besoin d’un signal commun

Les grands fournisseurs d’IA – OpenAI, Google, Microsoft, Anthropic – font face à une pression croissante des éditeurs qui souhaitent empêcher que leurs contenus soient récupérés par les robots d’entraînement. Jusqu’à présent, chaque plateforme exigeait un mécanisme propre (ex. : en‑tête HTTP, métadonnées spécifiques), obligeant les sites à gérer plusieurs configurations. Cette fragmentation augmente le coût opérationnel et crée des incohérences, comme le montre l’émergence de standards alternatifs tels que Really Simple Licensing (RSL) ou le blocage par défaut de Cloudflare.

Mécanisme du token de politique dans robots.txt

Le nouveau policy token, proposé par Kevin Kelley d’Anthropic au sein de l’IETF, s’insère dans le fichier robots.txt déjà utilisé pour indiquer les règles de crawl. Le format exact n’est pas détaillé dans la source, mais il s’agit d’une ligne supplémentaire, par exemple :

User-agent: *
Disallow: /private/
Policy-Token: no‑ai‑training

Lorsque le crawler d’un acteur participant rencontre la directive Policy-Token: no‑ai‑training, il doit interrompre toute collecte destinée à l’entraînement de modèles, sous peine de non‑conformité au standard IETF. Cette approche exploite l’infrastructure existante : les robots lisent déjà robots.txt avant de récupérer des pages, ce qui minimise le besoin d’ajouter des protocoles supplémentaires.

Adoption et engagements des acteurs majeurs

Anthropic a intégré le token immédiatement. Google et Microsoft ont annoncé un support prévu pour l’an prochain, tandis qu’OpenAI prévoit une implémentation « dans les mois à venir ». Microsoft précise que son tableau de bord offrira des contrôles granulaire, distinguant AI training et AI grounding – ce dernier visant à réduire les hallucinations en contraignant le modèle à se référer à des sources vérifiées. Google, quant à lui, a déjà déployé des options similaires qui n’affectent pas le classement dans les résultats de recherche. Meta a exprimé son soutien public, mais n’a pas confirmé d’engagement technique.

Limites et perspectives d’application

Le token repose sur une conformité volontaire : aucune sanction technique n’est appliquée si un crawler ignore la directive. De plus, la détection du token dépend de la capacité du robot à analyser le robots.txt avant chaque session, ce qui peut être contourné par des agents malveillants utilisant des listes de diffusion pré‑téléchargées. Enfin, la mise en œuvre « granulaire » annoncée par Microsoft implique une logique de filtrage supplémentaire dans les pipelines d’ingestion, augmentant la charge de traitement et le risque d’erreurs de classification. Malgré ces contraintes, le standard représente une avancée vers une gouvernance plus homogène du data‑scraping, en alignant les exigences légales des éditeurs avec les pratiques d’entraînement des modèles d’IA.