Architecture et entraînement

NeoMME se décline en deux variantes, 260 M et 800 M paramètres, qui partagent une même architecture : un unique Transformer bidirectionnel traite simultanément des tokens texte et des patchs d’image de 32×32 pixels projetés par un petit MLP. Le modèle accepte jusqu’à 16 384 tokens, ce qui correspond à deux images 4K UHD (3840×2160) sans découpage préalable. L’attention est majoritairement de type fenêtre glissante symétrique, tandis que chaque sixième couche et la couche finale utilisent une attention globale, garantissant une portée longue tout en limitant le coût quadratique.

Le pré‑entraînement repose sur un objectif de diffusion discrète masquée. Pour les exemples purement textuels, le taux de masquage est tiré uniformément entre 0 et 1, puis chaque token admissible est masqué indépendamment. Les exemples multimodaux utilisent des taux compris entre 0,3 et 1 ; les patchs restent visibles et le modèle doit reconstruire le texte masqué, ce qui force l’apprentissage de descriptions ancrées dans l’image. Au total, NeoMME a traité 524 milliards de tokens empaquetés, dont 290 milliards de texte, bien en dessous des 2 trillions de ModernBERT, ce qui justifie l’emploi de l’optimiseur NorMuon pour améliorer l’efficacité des données.

Performance en récupération de documents visuels

NeoMME‑Retriever, fine‑tuned avec la méthode page‑image de ColPali, produit en une passe à la fois un embedding dense (moyenne des états cachés) et un embedding à interaction tardive (projection de chaque token ou patch en vecteur 128‑D normalisé). Sur un GPU NVIDIA L40S, le modèle 260 M encode 51 pages par seconde à une résolution d’entrée de 2048×2048, soit le double du débit de ColModernVBERT. La quantisation asymétrique et le pooling hiérarchique réduisent la taille du stockage d’interaction tardive de 1,5 Mo à 6 kB par page, soit un facteur 255, tout en conservant plus de 95 % du nDCG@10 de référence.

Sur le benchmark ViDoRe v3, NeoMME‑Retriever‑260M atteint un nDCG@10 de 0,523, le meilleur score parmi les modèles <800 M paramètres et à 0,002 du modèle ColQwen2.5. La version 800 M obtient 0,556, à moins de 0,009 du meilleur score global, tout en utilisant 14 fois moins de paramètres que les concurrents de même rang.

Analyse des limites et perspectives

Le modèle repose sur une résolution dynamique des images, mais la taille maximale de 16 384 tokens impose une contrainte pratique : des documents très longs ou des images très détaillées doivent être découpés, ce qui peut introduire des coupures de contexte. De plus, l’entraînement à 524 milliards de tokens, bien que moindre que celui de ModernBERT, reste coûteux en énergie et nécessite des GPU haut de gamme, limitant la reproductibilité pour les laboratoires aux ressources modestes.

Enfin, l’absence d’une tour de vision pré‑entraînée simplifie l’architecture mais empêche le transfert direct de connaissances visuelles acquises par des modèles spécialisés comme SigLIP2. Une future extension pourrait combiner le flux unique de NeoMME avec des poids de vision pré‑entraînés afin d’améliorer la compréhension fine de contenus graphiques sans gonfler le nombre de paramètres.