NVIDIA 联合印度马德拉斯理工学院（IIT Madras）及其 AI4Bharat 实验室，正式发布 Nemotron-pretraining-Indic-v1 数据集。该数据集包含约 2.8 万亿个 token，涵盖 22 种印度宪法所列语言，服务于近 12 亿印度公民的第一语言需求。与此同时，团队将开源用于构建该数据集的 GPU 加速数据生成流水线，为开发者提供可复现、可调整的合成数据生成方案。
此次发布旨在解决印度语言 AI 模型面临的数据匮乏问题。AI4Bharat 负责人 Mitesh Khapra 指出，缺乏足够的本土语言数据是印度语言技术落后于英语的主要原因。通过提供海量合成数据及开源生成配方，该项目大幅扩展了社区可用的开放式印度语言训练资源。
数据集构成与特点
Nemotron-pretraining-Indic-v1 包含两组语言配置，共计 34 种语言-脚本组合：
- 母语脚本与罗马化数据：涵盖孟加拉语、印地语、泰米尔语等 12 种语言，既包含原生脚本文本，也包含拉丁字母书写的罗马化文本。
- 纯母语脚本数据：涵盖阿萨姆语、梵语、信德语等 10 种语言，仅提供原生脚本文本。
数据显示，语料库包含 2,601.0 亿个母语脚本 token 和 224.6 亿个罗马化 token（基于 Gemma-4 tokenizer 计数）。所有记录均可追溯至经过筛选的英文源文档，且经过严格的输入校验，确保合成内容扎根于真实信息。
开源数据生成流水线
团队基于 NVIDIA 开源框架 NeMo Data Designer 构建了数据生成流水线，完整记录了从提示词、LLM 工作流到质量检查的全过程。开发者可利用该流水线调整源材料，生成符合特定需求的数据。
针对不同语言特性，团队设计了两种工作流：
12 种语言工作流：采用全文翻译策略，使用 Gemma-4-31B-it 模型进行翻译和质量评估。评估标准借鉴多维质量指标（MQM），仅保留得分高于 75/100 的输出。低分结果经反馈修复后再次评估，这一过程回收了 438.4 亿个 token。此外，部分接受的母语脚本翻译被转换为罗马化文本，以减少幻觉和残留英语。
10 种语言工作流：针对长文档质量和脚本稳定性问题，采用 Bodhan AI 开发的 Indic Translate 模型进行文档级翻译。对于桑塔利语和曼尼普尔语等特殊脚本，采取了重叠窗口翻译或中间脚本转换策略。此流程仅生成母语脚本数据，不进行基于反馈的改写。
模型性能提升显著
在 Nemotron 3.5 Super VL 的持续预训练（CPT）阶段，团队引入了 100 亿个来自该语料库的印度语言 token。技术报告显示，在 MILU、Indic MMLU-Pro、Indic ARC-Challenge 等五个印度语言知识和推理基准测试中，模型分数均有提升，增益范围在 4.98 至 9.82 个百分点之间。
与前代模型 Nemotron 3 Super 相比，Nemotron 3.5 Super VL 在知识、推理、数学、代码和翻译等六个任务基准中的五个上得分更高，并在 IndiVibe 基准的有用性、流畅性等四个维度上全面改善。尽管在 IFEval 1.5 指令遵循能力上略有下降（2.04 个百分点），但整体印度语言能力显著增强。
开发者如何使用
社区可通过 Hugging Face Datasets 加载语料库，支持流式传输以便在不下载全量数据的情况下进行检查。数据集配置使用语言、脚本和区域标签，如 hi-Deva-IN（天城体印地语）和 hi-Latn-IN（罗马化印地语）。
建议开发者在固定 token 预算下比较不同混合比例的训练效果，监控英语能力保留情况及语言质量。此外，NeMo Data Designer 的开源 Nemotron Bharat 翻译插件提供了完整的生成配方支持，开发者可从少量自有源文档开始，微调提示词和检查机制，逐步扩大规模。
需注意的是，合成数据不能完全替代自然撰写的本土文本，尤其在覆盖本地知识和文化语境方面。建议将此语料库与自然印度语言文本结合使用，并针对具体用例进行评估。目前，AI4Bharat 正在构建开放的 Indic-LLM-Eval-Suite 基准集合，以辅助模型能力的全面评估。