NVIDIA正式推出开源权重模型Nemotron 3.5 Transcribe，该模型现已在Hugging Face和ModelScope平台上线。作为一款支持提示词引导的多功能音频处理模型，它将转录、说话人归属（日记化）、翻译及音频问答整合于单一检查点中。
Nemotron 3.5 Transcribe支持40种语言的语音转文本，其中31种语言可与英语互译，并支持13种语言的说话人标注。模型能够处理长达一小时的录音，识别多达八位说话人，包括重叠对话场景。开发者可通过自然语言指令引导输出格式，适配特定领域词汇与口音。
性能表现：多项基准测试领跑
在开放权重模型领域，Nemotron 3.5 Transcribe展现出领先的准确性与效率：
- Hugging Face Open ASR Leaderboard：在英语赛道中，其平均字错率（WER）为5.33%，位居开放权重模型榜首；在多语言（七种语言平均WER 4.62%）和长篇幅音频（WER 10.98%）测试中同样表现最优。
- Artificial Analysis榜单：凭借约40亿活跃参数，该模型以2.8%的AA-WER指数与参数量大得多的模型并列第一，处于准确率与计算效率的帕累托前沿。在AA-AgentTalk测试中，其WER仅为1.8%，优于次佳开放模型。
- 说话人归属：在David AI的21语言日记化榜单中，其错误率最低（DER 18.26%）；在VoiceArena的14系统对比中，其串联最小排列WER（cpWER）最低，且在面对面和在线场景中均排名第一。
此外，Ocular AI和Josh Talks的评估也证实了其在通用及印度语言场景下的顶级表现。
高效部署与灵活微调
Nemotron 3.5 Transcribe采用语音编码器与混合Mamba-Transformer混合专家语言模型架构，每Token仅约40亿参数处于活跃状态。这使其能够在单块NVIDIA GPU上高效运行，硬件支持范围从边缘端的Jetson AGX Thor、DGX Spark延伸至数据中心的Blackwell GPU。例如，在RTX PRO 6000 Blackwell Server Edition GPU上，处理100小时音频仅需不到三分钟。
模型支持通过vLLM部署或使用NeMo-Speech.cpp本地运行。需注意，该模型专为录制音频设计，而非实时流媒体处理。
Granary v2：开放数据策展管道
为支持模型训练与微调，NVIDIA同步发布了Granary v2数据策展管道，已在Hugging Face和ModelScope上线。基于NVIDIA NeMo Curator构建，Granary v2提供了涵盖48种语言、超46万小时数据的公开清单。该管道为每段录音生成三种转录形式（逐字、含不流畅逆文本归一化、不含不流畅逆文本归一化），并包含音频字幕、代码切换还原、问答对及质量元数据。
开发者可利用Ray和NVIDIA Dynamo后端，基于自有数据或公共语料库运行该管道，生成适配特定应用场景的训练数据。
领域适配：医疗案例研究
针对专业领域的术语识别难题，NVIDIA展示了结合Granary v2与NeMo Speech微调工具的解决方案。在一项涉及印度医生和医学生录音的医疗ASR案例研究中：
- 通过优化提示词，基准WER从30.8%降至23.8%。
- 进一步利用约153小时合成语音及真实录音进行微调后，保留说话人的WER降至12.17%，较最佳提示词基线相对降低45.8%。
- 适配后的模型在医疗关键词和语义WER上均优于通用的开放医疗专家模型及主流ASR模型。
整个微调过程在单块NVIDIA GB300 GPU上耗时约14小时。ModelScope的ms-swift框架也支持对该模型进行多模态应用微调。
目前，开发者可通过Hugging Face或ModelScope下载模型检查点，或利用Baseten、DeepInfra等托管服务快速接入。对于需要领域适配的场景，建议参考官方提供的微调教程及智能体工作流。