大语言模型部署长期依赖的校准数据集难题迎来突破。一种名为 DualQuant 的新训练后量化框架，能够在无需任何代表性输入数据的情况下，将模型权重和激活值同时压缩至 4-bit 精度（W4A4）。与此同时，针对 FP4 推理的硬件支持在三大加速芯片产品线中已趋于成熟。
该框架由 AI 推理芯片初创公司 d-Matrix 研究人员于 10 月 9 日发布在 arXiv 上。其目标与行业标杆 SmoothQuant 一致，但彻底消除了对校准数据的依赖。在 RTX 4090 上运行 Llama-3.1-8B 的真实 W4A4 推理路径基准测试显示，DualQuant 实现了 2.61 倍的内存缩减，相比 BF16 基线吞吐量最高提升 2.46 倍，且精度与 SmoothQuant 持平。
FP4 硬件生态成熟，软件层仍有缺口
这一进展恰逢开放计算项目（OCP）年度全球峰会举行。OCP 是 MXFP4 格式的标准制定机构，该峰会将于 2026 年 10 月 12 日至 15 日在圣何塞召开。目前，微缩放（MX）格式标准已获得广泛硬件支持：AMD Instinct MI350 系列和英特尔即将推出的 Xe3P 数据中心 GPU 均支持 MXFP4；英伟达则在 Blackwell NVFP4 Tensor Core 规范中原生实现了其竞争的 4-bit 格式 NVFP4，应用于 B100、B200 和 GB200 系列。
这两种格式均已投入实际生产部署。英伟达已发布 DeepSeek V3.2 和 V4 等模型的 NVFP4 检查点，其中 DeepSeek V4 在 Blackwell 硬件上的性能达到约每秒 3,500 个 token。AMD 的 MI355X 在 MLPerf Inference 6.0 中突破了每秒一百万个 token。英特尔在 2026 年 8 月 Hot Chips 大会上详细介绍的 Xe3P 架构，不仅支持 FP4 和 MX 微缩放，还配备 480GB LPDDR5X 内存。
然而，量化软件并未完全跟上硬件步伐。在 DualQuant 出现之前，尚无双重缩放方法正式针对 MX 和 NV 格式共有的分层块结构进行设计，这种不匹配严重影响了 MXFP4 的 2 的幂次缩放精度。
告别校准数据：降低运营复杂度
训练后量化已成为大规模部署大语言模型的主导技术。将权重从 16-bit 降至 4-bit 可将内存占用减少约 4 倍，并在支持原生低精度算术的硬件上加速推理。但仅量化权重无法充分发挥 FP4 硬件效率，因为激活值仍以 BF16 形式流经系统，导致带宽和吞吐量增益受限。
激活值比权重更难量化，因其随每个处理的 token 变化，且常出现难以压缩的“异常值”。行业标准的 SmoothQuant 通过逐通道缩放变换，将量化难度迁移至权重，但这需要基于 512 到 2,048 个输入序列计算校准样本。这意味着操作员必须为每种新模型变体、微调或部署上下文维护精心策划的校准数据集，并承担版本管理及分布差异导致精度扭曲的风险。
DualQuant 彻底消除了这一运营依赖。其核心洞察在于：解决权重量化问题所生成的信息，足以解决激活值问题。该框架将量化视为不可微分的权重重建问题，通过寻找最小化原始浮点权重与量化表示间均方误差的逐通道缩放因子，间接获取激活通道的重缩放信息。整个离线计算仅基于模型权重，无需外部数据集。
适配 MXFP4 与 NVFP4 块结构
MXFP4 采用 32 元素块，共享比例编码为 E8M0 格式（指数四舍五入为 2 的幂次），虽在硬件面积上比 NVFP4 节省约 12%，但引入了额外量化误差。NVFP4 则使用 16 元素块和 E4M3 共享比例，需真正的浮点乘法，硬件成本更高但精度更优。此前的双重缩放方法无法清晰映射到这两种不同的块结构。
DualQuant 参数化了权重重建问题，以匹配每种目标格式的特定块结构，成为首个正式支持完整 MX 家族和英伟达 NVFP4 的双重缩放方法。在 ICLR 2026 展示的研究表明，该方法在 MX 和 NV 块格式上取得了最大精度增益。
基准测试与实际部署意义
在 WikiText-2、C4 困惑度及零样本下游任务等基准测试中，涉及 Llama-3.1-8B、Llama-3.1-70B 和 Mixtral-8x7B 模型，DualQuant 的精度在大多数情况下匹配或超过 SmoothQuant，并大幅优于其他无校准基线。
需要注意的是，RTX 4090 基于 Ada Lovelace 架构，缺乏原生 FP4 Tensor Cores。上述基准测试通过定制打包 W4A4 整数内核实现，将 4-bit 值打包到 8-bit 或 16-bit 寄存器中，而非执行 Blackwell 或 MI350 硬件原生的 E2M1 或 E4M3 Tensor Core 指令。尽管这是真正的 4-bit 计算路径，且结果证实了算法有效性，但在拥有原生 FP4 Tensor Cores 的硬件上，吞吐量表现可能存在差异。
消除校准数据对部署具有深远意义。它将复杂的运营生命周期简化为仅基于模型权重的单次离线计算，无需数据集、无需环境调优、无需版本控制。这对于频繁微调的团队、缺乏代表性输入数据的领域，以及同时针对多个硬件后端的工作流尤为关键。此外，鉴于量化可能微妙影响大语言模型的安全对齐属性，操作者在部署任何 4-bit 量化模型时，无论采用何种方法，均应在量化后重新评估其安全对齐表现。