2026年10月14日，独立基准测试机构First Proof发布第三批测试结果，证实前沿人工智能系统已能解决约90%未经发表、经专家评级的研究级数学问题；相比之下，表现最佳的公开权重模型未能解出任何题目。这两类模型之间存在约十个月的有效能力差距，显著高于Epoch AI在2026年5月通用AI基准测试中观测到的四个月滞后。
对于倾向于使用开源模型以保护未发表定理免受商业AI服务器访问的数学家而言，这一发现构成了直接的两难选择：当前阶段，强大的工具与私密的工具互斥。自2026年9月两名研究人员就OpenAI训练数据是否包含其作品产生争议以来，这种担忧愈发具体。
首个针对未发表难题的AI基准测试
First Proof旨在填补AI数学能力评估的结构性空白。现有基准多采用已见于教科书或在线论坛的竞赛题，难以区分模型是在推理还是单纯回忆。First Proof则邀请活跃数学家贡献研究中未发表的引理，涵盖几何、拓扑、统计等领域，彻底排除模式匹配可能。
该基准从数学正确性、阐述质量及文献引用质量三个维度评分，区别于仅关注答案对错的常规测试。项目由First Proof基金会非营利编辑团队运营，成员包括斯坦福大学Mohammed Abouzaid、加州大学伯克利分校Nikhil Srivastava等学者。资助方包括DARPA、Google.org以及来自Anthropic和OpenAI的无限制捐款。
“作者-评论家”架构的实际运作
第三批表现最佳的系统ProofCouncil由苏黎世联邦理工学院团队领导。其核心在于“Harness”编排框架，而非单一模型查询。该系统采用“作者-评论家”循环架构：“作者”智能体基于GPT-6 Astra Pro编写LaTeX格式证明，并调用网络搜索及代码执行工具；“评论家”智能体独立评估并反馈。每三轮后，状态化评论家会被替换为无历史包袱的“新鲜评论家”，只有两者均接受时，证明才会提交。这种双重盲审机制有效捕获了单一模型易遗漏的错误。
当陷入僵局时，系统会调用由Gemini 3.1 Pro、Claude Fable 5.1及额外GPT-6实例组成的模型委员会，并利用SageMath等工具验证计算。第二批数据显示，原始模型查询成本仅36美元，而Harness架构成本高达1,888美元。巨额支出差异并非源于更强的推理能力，而是用于独立验证的数十次额外调用。正是这种架构将引用准确率从40%提升至70%。
开源模型的全面溃败
由Zhengyang Zhang团队构建、运行于Moonshot AI开源模型Kimi K3上的Humanize系统，在提交的十个案例中全部失败。专家评审认为其表现大致相当于2025年12月推出的GPT 5.2 Pro，落后前沿模型约十个月。尽管自托管成本约2,000美元，高于裸机GPT-6 Astra，但产出为零。哈佛数学家Lauren Williams直言：“它真的彻底失败了。”这表明在研究数学这一高要求领域，开源模型的劣势远超通用基准所显示的水平。
隐私困境与算力壁垒
许多数学家选择开源模型是出于隐私考虑，不愿将未发表工作提交至商业API。然而，2026年8月至9月，有数学家报告OpenAI得出了与其未发表Navier-Stokes工作相似的结果。尽管OpenAI否认直接访问特定会话，但承认去标识化数据可能贡献于模型改进。First Proof的结果量化了这一隐私偏好的代价：近一年的能力差距。
此外，算力获取正成为结构性壁垒。ProofCouncil虽以1,888美元解决了九道题，但该成本对于大多数大学数学系而言，难以在探索性研究中持续承担。布法罗大学数学家Adam Sikora指出，这需要技术编程专业知识及对多个高端模型的付费访问，意味着AI在数学领域的民主化进程并不均匀。
阐述与引用的遗留差距
即便ProofCouncil给出了九个正确答案，其阐述质量仍存缺陷。约三分之一提交的阐述评分低于可接受水平，AI倾向于过度解释基础步骤而淡化关键洞察。尽管Harness架构将引用合格率提升至70%，但同时产出正确、清晰且引用规范的证明，仍是当前系统无法一致实现的目标。
未来展望
First Proof宣布将于2027年1月上半月进行第四批测试，计划分别校准前沿与开源模型，以深入分析开源系统的失败模式。同日，菲尔兹奖得主Terence Tao呼吁分享人机协作经验。这一并列折射出领域现状：一方面AI已能解决基准测试中的所有问题，另一方面，算力鸿沟与隐私顾虑使数学家与AI的高效协作变得复杂。