présentation
Pulpie est une famille de modèles Pareto-optimaux conçus pour extraire le contenu principal des pages HTML. Les modèles Pulpie atteignent une qualité d'extraction proche de l'état de l'art à un coût vingt fois inférieur.
architecture et fonctionnement
Le modèle Pulpie utilise une architecture d'encodeur qui étiquette chaque bloc HTML comme contenu ou élément de remplissage en une seule passe. Cela permet à Pulpie de concilier qualité et rapidité. Le modèle le plus petit, pulpie-orange-small, compte 210 millions de paramètres, soit un tiers de la taille du modèle Dripper, et atteint un score ROUGE-5 F1 de 0,862 sur le benchmark WebMainBench.
analyse scientifique
Les gains de Pulpie proviennent de son architecture et de son approche. En utilisant un encodeur, Pulpie peut traiter 13,7 pages par seconde sur une carte graphique NVIDIA L4, contre 0,68 page par seconde pour Dripper. Cela représente une différence significative en termes de coût, puisque nettoyer un milliard de pages coûte 7 900 $ avec Pulpie et 159 000 $ avec Dripper.
implications et limites
Les modèles Pulpie sont open source et disponibles sur Hugging Face. L'équipe a également créé un ensemble de données de pages HTML avec des étiquettes de bloc pour entraîner les modèles. Les résultats montrent que Pulpie peut atteindre une qualité d'extraction proche de l'état de l'art à un coût inférieur, ce qui ouvre des perspectives pour l'amélioration des modèles de langage et la gestion du contexte.
ROUGE-5 F1 = 0,862
