Présentation du problème

Les robots.txt des sites web sont souvent utilisés pour bloquer les crawlers d'entraînement IA, mais la plupart des sites ignorent les bots qui répondent aux questions en temps réel. Une étude a analysé les robots.txt des 10 000 sites les plus populaires et a constaté que 38% des règles pour les bots GPT ont été écrites dans un seul trimestre de 2023, après le lancement de GPTBot et le procès intenté par le New York Times.

Fonctionnement des bots IA

Chaque entreprise IA utilise deux types de bots : les crawlers d'entraînement qui lisent le web en bulk pour construire les modèles, et les bots qui répondent aux questions en temps réel. Les règles pour les crawlers d'entraînement sont souvent mises à jour, mais les bots qui répondent aux questions en temps réel sont souvent ignorés. Par exemple, 

Disallow: /
peut être utilisé pour bloquer les crawlers d'entraînement, mais les bots qui répondent aux questions en temps réel peuvent toujours accéder au site.

Implications et limites

Les résultats de l'étude montrent que les sites web sont plus préoccupés par les crawlers d'entraînement que par les bots qui répondent aux questions en temps réel. Cependant, les bots qui répondent aux questions en temps réel sont ceux qui sont les plus importants pour les utilisateurs finals. Les sites web devraient donc réévaluer leurs règles pour les bots IA et considérer l'impact sur les utilisateurs finals. De plus, les entreprises IA devraient être transparentes sur les bots qu'elles utilisent et sur les règles qu'elles suivent pour accéder aux sites web.

Conclusion

En conclusion, les sites web doivent être plus conscients des bots IA qui répondent aux questions en temps réel et réévaluer leurs règles pour les bots IA. Les entreprises IA doivent également être plus transparentes sur les bots qu'elles utilisent et sur les règles qu'elles suivent pour accéder aux sites web. Cela permettra de créer un environnement plus équitable et plus transparent pour les utilisateurs finals et les sites web.