Présentation de la plateforme OlmoEarth
La plateforme OlmoEarth est conçue pour traiter des données géospatiales à l'échelle planétaire en utilisant des modèles de fondation pré-entraînés sur environ 10 téraoctets de données satellitaires multimodales. Les gouvernements, les ONG et d'autres organisations à but non lucratif utilisent déjà OlmoEarth pour des applications telles que la surveillance de la déforestation, la sécurité alimentaire et le risque d'incendie de forêt.
Fonctionnement de la plateforme OlmoEarth
La plateforme OlmoEarth est divisée en trois étapes : l'acquisition et le prétraitement des données (CPU, haute entrée-sortie), l'inférence (GPU) et le post-traitement (CPU). Chaque étape est adaptée à un profil matériel distinct. Les données sont acquises et prétraitées sur des CPU, puis les modèles sont exécutés sur des GPU et les résultats sont post-traités sur des CPU.
OlmoEarth Run, la couche d'exécution de la plateforme pour les travaux d'inférence à grande échelle, divise la région géographique couverte par chaque travail en partitions de taille adaptée à des instances de calcul individuelles (travailleurs), puis sous-divise ces partitions en fenêtres plus petites que les modèles OlmoEarth traitent.Implications et limites de la plateforme OlmoEarth
La plateforme OlmoEarth peut traiter des données sur des régions continentales en environ une journée, en traitant des dizaines de téraoctets d'images à un coût de fractions de centime par kilomètre carré. Cependant, la plateforme doit faire face à des défis tels que la gestion de grandes quantités de données, la coordination de multiples fournisseurs de données et la gestion de l'inférence à grande échelle. La plateforme utilise des catalogues STAC publics et des normes ouvertes pour gérer les métadonnées des données.
Performances et optimisation de la plateforme OlmoEarth
La plateforme OlmoEarth a été utilisée pour générer une carte de risque d'incendie de forêt couvrant l'ensemble de l'Amérique du Nord. Au pic, l'exécution a utilisé environ 19 600 CPU et 994 GPU en parallèle, avec un débit réseau dépassant 168 Go/s. Cela a réduit le temps de calcul estimé à 4 737 heures à environ 30,5 heures de temps réel - une accélération de 155 fois.
