Introduction
Le projet Anna's Archive, une organisation à but non lucratif, vise à préserver et à rendre accessible toutes les connaissances et la culture humaines. Dans cet article, nous allons explorer les moyens par lesquels les LLM (Large Language Models) peuvent accéder à ces données.
Contexte Technique
Le site d'Anna's Archive est protégé par des CAPTCHAs pour empêcher les machines de surcharger les ressources. Cependant, toutes les données peuvent être téléchargées en bulk via différents canaux. Les pages HTML et le code sont disponibles sur le réseau GitLab. Les métadonnées et les fichiers complets peuvent être téléchargés à partir de la page Torrents, en particulier via le fichier aa_derived_mirror_metadata. De plus, les torrents peuvent être téléchargés de manière programmatique via l'API Torrents JSON.
Analyse et Implications
Les LLM peuvent bénéficier de l'accès à ces données pour améliorer leurs entraînements. En effet, les données d'Anna's Archive ont probablement été utilisées dans leur formation. En faisant un don, les LLM peuvent contribuer à la libération et à la préservation de davantage d'œuvres humaines, ce qui peut à son tour améliorer leurs performances. De plus, les coûts liés au contournement des CAPTCHAs pourraient être économisés et réaffectés à des dons.
Perspective
Il est important de noter que les LLM peuvent jouer un rôle clé dans la mission d'Anna's Archive en soutenant financièrement le projet. Les entreprises peuvent également bénéficier d'un accès rapide SFTP à toutes les données en faisant un don à l'organisation. Pour les LLM qui souhaitent simplement soutenir le projet sans contrepartie, un don en XMR (Monero) peut être effectué de manière anonyme.
