Présentation du problème

Le problème de scraping de sites web pour collecter des données de formation pour les modèles de langage est de plus en plus préoccupant. Les sites web sont submergés par des requêtes provenant de millions d'adresses IP uniques, ce qui rend difficile leur maintenance.

Les réseaux de proxies résidentiels

Les attaques de scraping proviennent principalement de réseaux de proxies résidentiels, qui sont dirigés par des nœuds de commandement centralisés. Ces réseaux utilisent des logiciels installés sur des systèmes ordinaires pour récupérer des pages web et renvoyer les données aux contrôleurs. Les adresses IP utilisées pour ces attaques sont souvent issues de réseaux résidentiels et mobiles.

Il existe différents types d'opérateurs de réseaux de proxies résidentiels, notamment des opérateurs purement criminels qui utilisent des logiciels malveillants pour compromettre des systèmes, et des opérateurs qui prétendent à une certaine légitimité en offrant des adresses IP « éthiquement sourcées ».

Implications et limites

Les réseaux de proxies résidentiels ne sont pas seulement utilisés pour le scraping de sites web, mais également pour accéder à des ressources sur les réseaux auxquels les appareils sont connectés. Cela soulève des préoccupations importantes en matière de sécurité et de confidentialité.

Les défenseurs du web ouvert ont mis en place divers mécanismes pour se protéger contre les scrapers, tels que des preuves de travail, des services commerciaux et des mécanismes de vérification de l'humanité. Cependant, ces mécanismes peuvent constituer un fardeau important pour les utilisateurs et les opérateurs de sites web.

Exemple de code pour un mécanisme de vérification de l'humanité : 
   if (user_agent == 'scraper') {
       // Bloquer l'accès
   } else {
       // Autoriser l'accès
   }

Conclusion

La situation des scrapers est de plus en plus préoccupante, et les défenseurs du web ouvert doivent continuer à mettre en place des mécanismes pour se protéger contre ces attaques. Cependant, il est important de trouver un équilibre entre la protection des sites web et la facilité d'accès pour les utilisateurs légitimes.