Google et partenaires adoptent une norme d’exclusion pour l’entraînement IA

Contexte et contraintes actuelles

Les fichiers robots.txt sont depuis longtemps le moyen principal pour les opérateurs de sites de communiquer leurs règles aux robots d’indexation. Aujourd’hui, les mêmes fichiers servent à réguler les scrapers employés par les fournisseurs d’IA afin de collecter des données d’entraînement. La pratique courante oblige chaque éditeur à ajouter une entrée distincte pour chaque fournisseur d’IA, voire pour chaque scraper utilisé par ce fournisseur. Cette granularité entraîne une multiplication rapide des lignes dans le robots.txt, compliquant la maintenance et augmentant le risque d’erreurs de configuration.

Proposition d’une norme d’exclusion unique

Google, Microsoft, Anthropic et OpenAI soutiennent une évolution du Robots Exclusion Protocol qui introduirait une directive unique capable de bloquer l’ensemble des collecteurs de données destinés à l’entraînement de modèles génératifs. Cette directive serait ajoutée au format standard du robots.txt et s’appliquerait à tous les scrapers identifiés comme « training‑related ». Les modèles qui n’exécutent que des tâches non génératives, comme la recherche d’information en temps réel, resteraient exclus de ce blocage.

Implémentations prévues et calendrier

Les quatre acteurs ont soumis un projet de spécification à l’Internet Engineering Task Force (IETF), l’organisme qui maintient le protocole d’exclusion. Microsoft a annoncé, via son blog, le lancement d’un paramètre nommé AI Grounding. Ce paramètre permet aux opérateurs de bloquer les requêtes d’IA qui cherchent à « grounder » une réponse en accédant à une page web, sans que cela ne soit destiné à l’apprentissage. OpenAI prévoit d’ajouter un contrôle analogue dans les prochains mois. Google a indiqué qu’il implémentera la norme au cours de l’année suivante, tandis que Meta a exprimé son soutien conceptuel sans engagement de mise en œuvre immédiat.

Implications techniques et limites

Sur le plan technique, la normalisation d’une entrée unique simplifie la gestion des listes d’exclusion et réduit la surface d’erreur humaine. Cependant, l’efficacité dépendra de la capacité des fournisseurs d’IA à identifier leurs propres agents de collecte et à respecter la directive. Si un scraper n’est pas correctement déclaré ou utilise des techniques de contournement (par ex. rotation d’User‑Agent), le blocage restera partiel. De plus, la distinction entre « génératif » et « non‑génératif » repose sur des critères internes aux modèles, ce qui peut créer des ambiguïtés juridiques et opérationnelles. Enfin, l’adoption de la norme par les acteurs qui ne font pas partie du consortium initial, comme certains services tiers, reste incertaine, ce qui pourrait limiter l’universalité du mécanisme.