Contexte et problème

Le service Wayback Machine de l'Internet Archive a signalé une hausse importante du trafic généré par des bots automatisés. Ce phénomène a entraîné une saturation des serveurs, compromettant la disponibilité du service pour les utilisateurs humains qui s’appuient quotidiennement sur l’archive du Web. Face à ce déséquilibre, les opérateurs ont décidé d’intervenir pour préserver la stabilité du système.

Mécanisme de protection introduit

Une des mesures immédiates a consisté à appliquer un contrôle de débit basé sur le code HTTP 429, qui indique « too many requests ». Le message affiché aux requêtes bloquées a été réécrit afin de clarifier la raison du refus. Le mécanisme repose sur un seuil de requêtes par intervalle de temps, détecté à l’aide de compteurs côté serveur. Lorsque le seuil est dépassé, le serveur renvoie la réponse suivante :

HTTP/1.1 429 Too Many Requests
Content-Type: text/plain

Your request has been blocked due to excessive traffic.

Cette réponse permet aux clients de reconnaître rapidement la nature du blocage et d’ajuster leur cadence d’accès.

Analyse des impacts et limites

Le filtrage par code 429 réduit la charge instantanée sur l’infrastructure, ce qui limite les risques de dégradation du service. Cependant, le filtrage repose sur des critères de fréquence qui ne distinguent pas toujours les bots légitimes des scripts d’extraction de données autorisés. Le résultat est un taux de faux positifs qui empêche certains utilisateurs humains d’accéder aux archives. Le blog indique que les équipes travaillent à affiner la différenciation entre trafic abusif et usage légitime, mais aucune métrique précise n’est fournie sur le taux d’erreurs actuel.

En outre, la dépendance à l’adresse IP pour identifier les abus expose le système à des contournements via le proxy ou le VPN, qui peuvent masquer l’origine réelle du trafic. Cette limitation technique nécessite des solutions complémentaires, comme l’analyse du comportement de navigation ou l’intégration de listes de réputation d’IP.

Recommandations pour les utilisateurs

Les utilisateurs bloqués sont invités à envoyer un courriel à info@archive.org en précisant leur système d’exploitation, leur navigateur et leur adresse IP. Cette procédure permet aux équipes de vérifier manuellement les cas de blocage et d’ajuster les seuils si nécessaire. En attendant, il est conseillé de réduire la fréquence des requêtes automatisées, d’utiliser des intervalles de pause entre les appels, et de respecter les directives d’utilisation du service afin de minimiser le risque de déclenchement du filtre 429.