Présentation

Apertus 1.5 poursuit le pré‑entraînement de la première génération en injectant 4 téra‑tokens de texte et de données multimodales dans le modèle 8 B et 2 téra‑tokens dans le modèle 70 B, portant le total à 19 téra‑tokens pour le petit modèle et 17 téra‑tokens pour le grand. Le modèle accepte désormais images et audio en plus du texte, tout en restant entièrement ouvert : poids, données, valeurs et protocole d’entraînement sont publiés.

Architecture et entraînement multimodal

La multimodalité est introduite par une early‑fusion où images et audio sont convertis en tokens discrets et insérés dans la même séquence que les tokens textuels. Une image 512 × 512 est tokenisée par 

Emu3.5 tokenizer → 1 024 tokens
, tandis qu’un second est décodé à 
WavTokenizer → 40 tokens / seconde
. Cette extension du vocabulaire ne modifie pas l’architecture du transformeur, ce qui permet de conserver la vitesse d’entraînement du texte seul. Le pré‑entraînement s’articule en quatre phases : Unpaired (texte + médias isolés), Paired (paires image‑légende et audio‑transcription), Cooldown (données de haute qualité, mathématiques, code) et Long context (augmentation progressive de la fenêtre de 8 k à 262 k tokens). Plus de la moitié des tokens restent textuels, assurant la préservation des capacités linguistiques initiales.

Améliorations fonctionnelles

Le Thinking Mode active un raisonnement préliminaire avant la génération, ce qui améliore les scores sur les benchmarks de logique tels que AIME. La fenêtre de contexte passe à 262 144 tokens, soit un facteur 4 par rapport à Apertus 1.0, et est restaurée après le long‑context SFT. Le fine‑tuning supervisé (SFT) utilise 3,7 M d’échantillons texte enrichis d’images et de discours, avec des traces de raisonnement ajoutées uniquement aux prompts non résolus. Le pipeline post‑entraînement comprend RLVR sur ~350 k prompts (math, code, vision), DPO avec paires de préférence jugées, puis SDPO pour aligner le modèle sur la Apertus Charter. Les améliorations d’instruction et d’usage d’outils se traduisent par une meilleure adhérence aux consignes et une intégration plus fiable des API externes.

Évaluation et performances

Les évaluations s’appuient sur la suite MLLM‑eval‑suite, combinant lmms‑eval et VLMEvalKit, ainsi que sur des benchmarks texte classiques, traduction, sécurité et usage d’outils. Sur les tâches d’instruction (IF) et multilingues, l’8 B d’Apertus 1.5 dépasse les modèles open‑weight de même taille. En raisonnement, le Thinking Mode améliore les scores AIME. En multimodal, les performances se rapprochent de Gemma 4 12 B et surpassent les modèles open‑source en compréhension de documents et graphiques. En traduction, l’8 B atteint des scores comparables à GPT‑OSS‑20 B et dépasse Claude Haiku 4.5 ainsi que Google Translate sur le benchmark « Last Translation ». Les résultats sont publiés dans le format Every Eval Ever (EEE), couvrant 56 des 60 exigences de reporting de l’EU AI Act et du GPAI Code of Practice, avec des cartes d’évaluation accessibles via Hugging Face Community Evals.