智能体的回答质量高度依赖其检索到的证据完整性。当证据缺失或不相关时，智能体往往需要重复搜索并消耗大量推理令牌，导致企业级应用出现显著的效率瓶颈。为解决这一痛点，英伟达今日扩展了 Nemotron Retriever 系列，推出一套开源且可商用的新模型，涵盖嵌入（Embedding）、重排序（Reranking）及文档提取（Document Extraction）三大关键环节。
此次发布的新模型包括 Nemotron 3.5 Embed 8B BF16、1B BF16、1B NVFP4，Nemotron 3.5 Rerank 8B BF16，以及拥有 6.31 亿参数的 Nemotron 3.5 Parse。这些模型旨在通过更高效的多模态检索和相关性排序，帮助智能体以更少的令牌消耗获取高质量证据，从而优化企业工作流。
更优检索驱动高效智能体
检索质量直接决定智能体的答案准确性及大语言模型（LLM）的推理成本。高质量的证据不仅能辅助回答问题，还能指导智能体规划下一步行动。例如，在预测产品断货风险时，智能体需综合图表中的需求预测、表格库存及报告中的供应商交货期。高效的检索系统能快速定位并整合这些分散证据，避免无效计算。
在 ViDoRe v3、BRIGHT 和 BrowseComp-Plus 等基准测试中，Nemotron 3.5 Embed 和 Rerank 模型展现了显著优势：
- 降低推理成本：引入 Nemotron 3.5 Rerank后，基于 Nemotron 3.5 Embed 8B 的每次查询令牌成本降低约 14%，基于 1B 版本的成本降低约 13%，同时检索准确率均有提升。
- 提升证据质量：在保持相似令牌成本的前提下，Nemotron 3.5 Rerank 的 nDCG@10 分数比 Qwen3-VL-Reranker-8B 高出约 0.9 点，为智能体提供更精准的上下文。
Nemotron 3.5 Embed 与 Rerank：多模态检索新标杆
Nemotron 3.5 Embed 在前代基础上升级，支持从包含表格、图表、信息图的文档中提取视觉与文本证据。该系列提供四种变体，以满足不同部署需求：
| 模型 | 核心能力 | 适用场景 |
|---|---|---|
| Nemotron-3.5-Embed-8B-BF16 | 跨文本/图片检索，强大多语言能力 | 对图文丰富文档的高质量优先搜索 |
| Nemotron-3.5-Embed-1B-BF16 | 蒸馏自8B模型，紧凑高效 | 低资源占用的多模态索引与查询服务 |
| Nemotron-3.5-Embed-1B-NVFP4 | 应用NVFP4量化，极致推理效率 | 大规模文档索引及高吞吐量检索 |
| Nemotron-3.5-Rerank-8B-BF16 | 联合评估查询-文档对，优化排序 | RAG及智能体工作流中的证据筛选 |
关键特性：
- 多模态支持：支持搜索文本及包含复杂视觉元素（如示意图、数据表）的图片。
- 多语言能力：文本检索覆盖 34 种语言，视觉检索在 MIRACL Vision（18 种语言）等基准上表现优异。
- 灵活部署：1B 模型提供 BF16 和 NVFP4 版本，兼顾精度与速度。
- 领域适配：支持微调。实验显示，微调后 Nemotron-3.5-Embed-1B-BF16 和 8B-BF16 在图表检索任务上的 nDCG@10 分别提升 18% 和 3%。
性能领跑：ViDoRe v3 榜首
在 ViDoRe v3.1 基准测试中，Nemotron 3.5 Embed 8B BF16 以 61.17 的 nDCG@10 分数位居稠密检索模型首位，较 Llama Nemotron Embed VL 1B 提升 8.94 分。即便是一体化蒸馏得到的 1B 模型，也取得了 58.38 分，保留了教师模型 95.4% 的性能。
在多语言视觉检索基准 MIRACL Vision 上，8B 模型得分 72.6，超越 Qwen3-VL-Embedding-8B 4.3 分。在重排序方面，Nemotron 3.5 Rerank 8B BF16 在 ViDoRe v3.1 重排序排行榜中以 60.49 的 nDCG@10 分数排名第一，优于 Qwen-3-VL-Reranker-8B 的 59.17 分。
NVFP4 量化与 NIM 高性能服务
针对生产环境的高吞吐需求，Nemotron 3.5 Embed 1B NVFP4 提供了优化的部署方案。在 NVIDIA GB200 上，其吞吐量较 1B BF16 模型提升 27.1%（从每秒 101.3 份文档增至 128.8 份），同时保留 99.85% 的检索准确率。
借助 NVIDIA NIM，模型部署效率进一步提升。在 NVIDIA RTX PRO 6000 Blackwell Server Edition 上，NIM 实现的查询吞吐量达每秒 6,031 次，约为同等 vLLM 配置的 2.9 倍，为企业级扩展检索工作负载提供了坚实基础。
Nemotron 3.5 Parse：结构化文档提取专家
针对企业常见的 PDF 文档，Nemotron 3.5 Parse 能将像素转化为保留阅读顺序和结构的机器可读文本（Markdown/HTML）。该模型拥有 6.31 亿参数，在 ParseBench 排行榜（参数小于 10 亿组别）中以 75.20 分排名第一。
Parse 提供三种处理模式，允许用户在速度与准确率间权衡：
| 处理模式 | ParseBench 得分 | H100 每秒处理页数 |
|---|---|---|
| 单次通过 | 72.74 | 16.1 |
| 双次通过 | 74.92 | 11.2 |
| 三次通过 | 75.20 | 10.5 |
通过组相对策略优化（GRPO）和后训练强化，Parse 在表格一致性和图表模式遵守上表现稳健，有效减少了下游工作流中的错误。
生态合作与早期评估
多家行业伙伴已对 Nemotron 3.5 系列进行初步评估：
- Elastic：客户可通过 Elasticsearch Inference API 访问 Nemotron 模型，未来将通过 Elastic Inference Service (EIS) 提供支持。
- Vectorize：Nemotron 3.5 Embed 在 LoCoMo 和 BEAM 100K 长对话记忆基准测试中排名第一，展现出卓越的长期记忆检索能力。
- Perplexity：Nemotron 3.5 Rerank 8B 在其私有 72 任务重排序基准中取得最高平均分，验证了专用检索模型的价值。
- Turbopuffer：在企业 PDF 搜索基准中，Nemotron 3.5 Embed 8B 的 Recall@20 比次优模型高出约 5%，成为处理复杂图像 PDF 的 SOTA 选择。
开发者入门
目前，开发人员可在 Hugging Face 获取开放权重、数据及训练配方。生产部署方面，可通过 NVIDIA NIM 或主要 AI 云合作伙伴（如 Baseten、DeepInfra、FriendliAI）进行调用。对于特定领域需求，英伟达还提供了基于 NVIDIA AutoModel 的微调支持，帮助团队将模型适配至自有文档集合。