présentation
La stratégie de données pour PRX repose sur l'assemblage de données de formation à partir d'un mélange de jeux de données publics et internes, avec une réécriture des légendes des images à l'aide d'un modèle de langage visuel (VLM). L'objectif est de créer un corpus de formation diversifié et représentatif pour l'apprentissage préalable du modèle.
architecture de données
L'architecture de données utilisée pour PRX implique l'utilisation de formats de données tels que Mosaic Streaming et Mosaic Data Shards (MDS) pour la formation distribuée, ainsi que Lance pour l'ingénierie de fonctionnalités et la curation de données. Les deux formats sont utilisés de manière complémentaire tout au long du processus de formation.
traitement des images
Les images sont encodées au format JPEG avec une qualité de 92, plutôt qu'un format sans perte tel que PNG. Cette décision a été prise après avoir mesuré l'impact de la compression JPEG sur la qualité des images. Les résultats ont montré que la première réencodage à la qualité 92 est essentiellement imperceptible, et que les cycles de décodage/encodage répétés n'ajoutent presque rien.
implications et limites
Les implications de cette stratégie de données sont importantes, car elle permet de créer un modèle de formation robuste et diversifié. Cependant, il est important de noter que la qualité des données de formation a un impact direct sur la qualité des sorties du modèle. Les résultats ont montré que les modèles formés sur des images JPEG et PNG sont pratiquement indiscernables, ce qui suggère que la stratégie de données adoptée pour PRX est efficace.
