Présentation de SkyPilot et Hugging Face

SkyPilot et Hugging Face ont uni leurs forces pour permettre l'exécution de charges de travail IA sur n'importe quel cloud, tout en stockant les données sur Hugging Face. Cette solution permet de monter un bucket Hugging Face ou un référentiel Hub dans un travail SkyPilot avec une seule URL hf:// et le token HF_TOKEN existant.

Fonctionnement de SkyPilot et Hugging Face

SkyPilot trouve la capacité de calcul sur plus de 20 clouds, Kubernetes, Slurm et sur site, afin que le même travail utilise les GPU réservés ou à la demande disponibles, sur n'importe quel fournisseur. Les données sont stockées sur Hugging Face, qui ne facture pas de frais de sortie (egress) pour la lecture des données, ce qui signifie que la lecture des données sur les GPU ne coûte rien, sur n'importe quel cloud.

file_mounts:
  # Un bucket Hugging Face, en lecture-écriture, pour les points de contrôle, les journaux, les données traitées.
  /checkpoints:
    source: hf://buckets/my-org/qwen-sft
    store: hf
    mode: MOUNT # ou COPY
  # Un référentiel de modèle, monté en lecture seule.
  /base-model:
    source: hf://Qwen/Qwen3.5-4B
    store: hf
    mode: MOUNT
  # Un référentiel de dataset, épinglé à une révision, en lecture seule.
  /data:
    source: hf://datasets/my-org/my-dataset@main
    store: hf
    mode: MOUNT

Avantages et performances

Les avantages de cette solution incluent la possibilité d'exécuter des charges de travail IA sur n'importe quel cloud, sans frais de sortie pour la lecture des données, et la possibilité de stocker les données sur Hugging Face. Les performances ont été mesurées en exécutant un petit travail de fine-tuning, avec des résultats prometteurs.

Implications et limites

Cette solution présente des implications importantes pour les équipes qui travaillent sur des projets IA, car elle leur permet de gérer plus efficacement leurs ressources de calcul et de stockage. Cependant, il est important de noter que les frais de sortie pour l'écriture des données sont toujours facturés par le fournisseur de cloud. Les équipes doivent donc prendre en compte ces coûts lors de la planification de leurs travaux IA.