在与AI交互时，用户往往难以确认回复是否真的来自声称的模型，还是被路由服务替换或遭攻击者篡改。为解决这一信任难题，Anthropic正式发布了FlashProve——一个用于可验证推理（Provable Inference, PI）的高性能开源原型系统。
该系统基于零知识简洁论证（zkSNARK）技术，允许模型提供商对模型权重进行“承诺”，并生成加密证明以验证每个回复均由该特定模型生成。关键在于，验证过程无需暴露模型权重，且计算成本极低。
性能突破：单H100每秒110代币
FlashProve在性能上实现了显著跃升。测试显示，针对Meta的Llama 4 Maverick（400亿参数混合专家模型，4位量化），系统在单个NVIDIA H100 GPU上生成证明的速度约为每秒110个token。对于1,024个token的请求，生成的证明文件大小约为19 MB。
尽管相比在常见开源库vLLM上直接运行模型，FlashProve的证明过程仍慢约70至95倍，但相较于此前速度慢几个数量级的开源系统，这一进展标志着零知识证明在大模型推理中的可行性得到了实质性验证。此前，类似规模的模型证明往往需要数小时甚至数天，而FlashProve将验证时间缩短至CPU上的几秒内。
核心技术：zkSNARK与形式化验证
FlashProve采用纯软件加密方案，分为离线和在线两个阶段：
- 离线阶段：提供商发布模型权重的简短“指纹”（承诺），锁定确切权重但不泄露具体内容。
- 在线阶段：针对用户请求，提供商生成证明，证实输出token由已承诺的模型在给定输入下产生。
为解决加密代码易错的问题，Anthropic引入Lean形式化验证语言，对协议的完备性、健全性和零知识属性进行了机器可检查的数学证明。此外，系统提供了C++快速验证器和经Lean验证的正确验证器，确保在保证安全性的同时兼顾实际部署效率。
应用场景：从合规审计到防篡改
可验证推理技术在多个关键领域具有深远意义：
- 发展节奏控制：监管机构可要求提供商提供推理证书，确保硬件资源未被违规用于训练新模型，从而监控AI发展步伐。
- 篡改检测：防止攻击者或内部人员入侵服务器替换模型或修改输出。任何未经授权的权重变更都无法生成有效证明。
- 文本溯源与审计：开发者可证明其代码已由特定前沿模型扫描，企业可证明商业计划经过合规模型审批，且无需向验证方泄露专有模型信息。
- 模型审批合规：确保服务提供商仅使用经安全批准的模型，防止为降低成本而切换至高风险模型。
局限性与未来展望
Anthropic强调，FlashProve目前仍为研究原型，存在一定局限性：当前仅支持长达1,024个token的上下文窗口；证明基于贪婪解码下的整数模型，可能与浮点推理存在细微偏差；且未隐藏模型架构信息。此外，系统暂未提供针对快速可执行代码的形式化保证，需依赖人工审计确保代码与形式化规范的一致性。
此次发布包括技术报告、协议规范、可执行代码（证明者及验证器）以及Lean数学证明，均采用Apache 2.0许可证开源。Anthropic表示，此举旨在加速可验证推理生态的发展，邀请社区在此基础上共同改进，为构建更可信的AI基础设施提供工具包。