Présentation

Le projet Nemotron‑pretraining‑Indic‑v1 regroupe 2,8 trillions de tokens couvrant les 22 langues officielles de l’Inde, soit près de 1,2 milliard de locuteurs selon le recensement de 2011. Le corpus total se compose de 2 601,0 milliards de tokens en écriture native et de 224,6 milliards de tokens romanisés, comptés avec le tokenizer Gemma‑4. Cette initiative conjointe entre NVIDIA, le laboratoire AI4Bharat et l’IIT Madras vise à combler le déficit de données pour les langues indiennes, identifié comme le principal frein à la performance des modèles de langue.

Pipeline de génération ouvert

La création du jeu de données repose sur NeMo Data Designer, le framework open‑source de NVIDIA dédié à la génération synthétique. Le flux de travail comporte quatre étapes : traduction complète des documents anglais, évaluation de la qualité, réparation ciblée des sorties faibles, puis conversion optionnelle en script latin pour les douze langues à double écriture. La traduction utilise le modèle Gemma‑4‑31B‑it, sélectionné après comparaison de plusieurs LLM sur des documents contenant du texte, des équations, du code et des tableaux. Chaque sortie conserve l’identifiant du document source, assurant une traçabilité complète.

Contrôle de qualité et récupération

Après traduction, le même modèle évalue chaque texte selon une grille inspirée du Multidimensional Quality Metrics (MQM). Le score requis est de 75/100 ; les passages en dessous de ce seuil sont réparés puis ré‑évalués. Cette boucle a permis de récupérer 438,4 milliards de tokens qui auraient sinon été écartés. Des revues humaines ponctuelles et des tests d’erreurs introduites ont affiné les prompts, réduisant les hallucinations et les résidus anglais. Pour les langues romanisées, la conversion se fait après validation de la version native, garantissant que le contenu technique reste intact.

Implications et limites

Le corpus enrichit les modèles Indic en introduisant du contenu technique (mathématiques, code, Q&A) auparavant rare dans les ressources open‑source. Il offre également une recette reproductible : les équipes peuvent adapter les prompts, les seuils de qualité ou les sources documentaires pour générer leurs propres jeux de données. Cependant, la taille du corpus ne correspond pas directement à un budget d’entraînement ; les comptes de tokens varient selon le tokenizer employé. De plus, la traduction reste dépendante d’un modèle anglais‑vers‑Indic, ce qui peut introduire des biais linguistiques propres à la langue source.