Introduction
L'accès aux données d'urbanisme au Royaume-Uni est théoriquement public, mais dans la pratique, ces informations sont verrouillées derrière plus de 400 portails de conseils différents, chacun avec ses propres schémas et technologies. Un projet de scraping a été mené pour collecter ces données.
Contexte Technique
La plupart des conseils utilisent l'un des quelques systèmes de portails courants, comme Idox, mais chaque conseil a configuré son système différemment, avec certaines fonctionnalités de blocage des requêtes non navigateur via l'empreinte TLS, des limites de débit qui peuvent entraîner une interdiction en 10 minutes, et certains utilisant des systèmes ASP.NET personnalisés. Pour surmonter ces obstacles, plusieurs scrapers ont été développés, notamment un basé sur les requêtes standard, un autre utilisant Playwright pour les conseils qui bloquent les requêtes non navigateur, et un dernier basé sur curl_cffi pour contourner les empreintes TLS.
Analyse et Implications
Les résultats montrent que le taux d'approbation national est d'environ 88 %, mais varie considérablement d'une circonscription à l'autre au sein d'un même conseil. Les données sur le délai de décision révèlent que 36,5 % des demandes d'extension de maison ont dépassé la cible légale de 8 semaines en 2025, contre 27,9 % en 2019. Certaines régions, comme Guildford, présentent des taux de retard significatifs, avec 66 % des décisions prises au-delà de la cible, et une moyenne de 13,3 semaines.
Perspective
Le projet, accessible via le site planninglens.co.uk, offre un vérificateur de code postal gratuit et des rapports PDF payants. Bien que le projet n'ait pas encore attiré de clients payants, l'accent a été mis sur la qualité et la couverture des données. Les défis techniques liés au scraping constituent la partie la plus intéressante du projet, avec des problèmes tels que la limitation de débit et les défis de sécurité pour accéder aux données.
