人工智能与安全研究所（Ai2）今日发布最新研究《旧思路，新问题》（Old Ideas, Novel Problems），深入探讨大型语言模型（LLM）在评估科学研究创意新颖性方面的可靠性。伴随论文发布，团队公开了用于测试“新颖性评判者”的基准数据集、相关代码，以及一个供研究人员构建新评估集的自动化流程。
Ai2长期致力于开发支持科学发现各环节的AI系统，包括辅助数据分析的DataVoyager、生成并验证假设的AutoDiscovery，以及从文献中综合证据的Theorizer。然而，生成创意仅是第一步，关键在于区分真正的创新与对现有工作的重新包装。目前，这一判断常交由被称为“新颖性评判者”的LLM执行，但业界缺乏构建此类评判者的标准范式，且现有验证多基于人工撰写论文，而非实际应用场景中的AI生成创意。
### 基准测试揭示评估脆弱性
为测试评判者可靠性，研究团队围绕ICLR 2026同行评审构建了一套自动化流程。通过分析审稿人关于贡献原创性的明确论述，团队构建了包含154个“高新颖性”创意（来自前10%录用论文且获审稿人正面确认）和145个“低新颖性”创意（来自后10%拒稿论文且遭原创性质疑）的“纯人工”数据集。此外，还创建了“人工+生成”数据集，将上述人工创意与154个由简单LLM生成的创意配对，并经专家审查确认人工创意更具新颖性。
研究测试了GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5及Claude Opus 4.6六种LLM评判者。结果显示，看似微小的评估设置变化会导致判定结果出现巨大差异。在“人工+生成”实验中，仅修改提示词中的几个单词，GPT-5.4识别更具新颖性创意的准确率便从93.5%骤降至40.9%，降幅超过50个百分点，且过半数配对的判决发生反转。相比之下，同一变化在“纯人工”数据集中对Claude Opus 4.6的准确率影响约为21个百分点，表明评判者在面对AI生成创意时更为不稳定。
### 高成本并未带来高性能
研究进一步发现，增加搜索范围和推理预算并不能持续改善判定结果。赋予GPT-5.6 Sol极高推理预算并进行实时arXiv搜索的智能体评判者，其宏观F1得分为0.78，落后于采用简单提示方案的Claude Opus 4.6（得分0.89）11个百分点，而单次决策成本却是后者的约10倍。
专用评估系统的表现同样不及简单基线。在“人工+生成”集合中，基于三次调用多数投票的简单Claude Opus 4.6方案以2.59美元的总成本实现了0.854的宏观F1得分。相比之下，Idea Novelty Checker成本高达30.66美元，得分仅为0.642；Sakana AI的AI Scientist成本为82.05美元，得分为0.772。这意味着，简单的提示基线不仅在准确性上优于两个专用系统，成本也显著更低。
Ai2指出，基于LLM的新颖性评估仍是一个重大的开放性问题。评判者在人工撰写研究与AI生成创意上的表现存在显著差异，且对提示词和模型选择高度敏感。团队呼吁未来工作应在实际评估的创意类型上测试评判者，测量跨提示词和模型的敏感性，并构建随科学文献增长而演进的动态基准，以推动建立更稳健的AI生成研究创意评估方法。