Théorème et conditions d’alignement

Les auteurs formalisent la Platonic Representation Hypothesis (PRH) sous forme de Platonic Representation Theorem. Le théorème stipule que des Joint‑Embedding Predictive Architectures (JEPAs) entraînées séparément sur un nombre quelconque de modalités convergent vers la même représentation, à une rotation près, dès que leurs paires positives sont deux observations du même scénario – les good views. Si les paires sont mal alignées, l’écart reste borné. Cette condition repose sur la contrainte mathématique que le produit scalaire des embeddings de bonnes vues soit maximal, ce qui force l’espace latent à être isométrique entre modalités.

Analyse de l’efficacité des vues positives

En comparant les good views aux bad views utilisées par la prédiction du token suivant, les auteurs montrent que le même mécanisme JEPA sous‑jacent est présent, mais que les vues mauvaises introduisent un bruit de corrélation qui ralentit l’alignement. L’étude quantifie cet effet : pour atteindre le même degré d’alignement, les bonnes vues nécessitent 42 fois moins d’échantillons d’entraînement que la prédiction de token sur le même corpus. Cette différence provient du fait que chaque bonne vue fournit directement une contrainte de rotation, alors que la tâche de prédiction de token doit d’abord apprendre la structure séquentielle avant d’impacter l’espace partagé.

Évaluation expérimentale et loi d’échelle

Les expériences couvrent 145 000 légendes et les textes associés à 940 M d’images web. Un JEPA texte de 109 M de paramètres atteint une corrélation d’alignement supérieure à tous les modèles de langage évalués, y compris ceux de 72 B de paramètres, ainsi qu’au texte‑encoder de CLIP. La métrique CIDEr obtenue sur le benchmark COCO atteint 0,838, démontrant que la simple rotation d’un encodeur image et d’un encodeur texte entraîne un système de génération de légendes fonctionnel. Sur le benchmark sans paires, le même JEPA texte dépasse les meilleures précisions zero‑shot rapportées pour les modèles de langage jusqu’à 8 B de paramètres, avec 64 % de top‑5 contre un maximum de 56 % pour ImageNet‑100. Les auteurs extraient également une loi d’échelle de l’alignement qui prédit les performances de runs non observés à l’intérieur du bruit de graine, confirmant la stabilité du phénomène au-delà des tailles de modèle testées.

Applications et limites

La capacité à convertir deux encodeurs entraînés séparément en un système de légende via une rotation unique ouvre la voie à des pipelines modulairement composables. Cependant, la dépendance aux bonnes vues implique que des jeux de données où les observations ne couvrent pas le même scénario limitent l’efficacité du JEPA. De plus, la preuve théorique repose sur l’hypothèse que les paires positives sont parfaitement alignées, condition rarement satisfaite dans des contextes multimodaux bruyants. Malgré ces réserves, l’étude fournit une base mathématique solide pour la construction de représentations partagées et montre que l’optimisation de la qualité des vues peut remplacer l’échelle brute comme levier principal.