Surge AI正式推出DAYJOB: Tax，这是其DAYJOB基准测试系列的最新成员，旨在评估AI代理在需要专业知识、处理复杂材料且初始指令模糊的税务任务中的表现。此前该系列已覆盖医疗和金融领域，此次扩展至税务申报、合规及咨询服务。
核心挑战：从“回答问题”到“定义问题”
与多数从定义明确的问题入手的现有基准不同，DAYJOB: Tax模拟真实世界的专业工作流程。客户往往提供不完整指令，记录中包含矛盾证据，且关键后果性问题可能从未被主动提出。该基准测试重点考察代理能否承担端到端责任：识别客户忽略的问题、评估相互矛盾的证据，并将专业判断贯彻至最终交付成果中。
以安娜出售公寓为例，她计划比较2026年10月与2027年1月两个交易日期的税务优劣。虽然AI代理正确判断两个日期均满足资本利得免税的居住要求，但未能指出关键风险：安娜于2024年8月搬出，若在2027年8月后完成交易，将不再满足“五年内居住两年”的免税资格。在五次尝试中，Astra均未识别此截止日期，而Opus全部识别。
另一案例涉及一对分居夫妇咨询退休账户分割。Opus 5.5基于“非法律夫妻”的假设建议保持账户分离，却忽视了文件中暗示其可能在德州或科罗拉多州存在有效婚姻的记录。相比之下，Astra在五次尝试中有四次意识到需核实婚姻状况。这些案例表明，即使模型能执行单一步骤，可靠地行使专业判断仍具挑战。
基准详情与数据集规模
DAYJOB: Tax涵盖八个税务实践领域，包括个人和家庭税务、小企业税务、合伙企业、财产和投资、遗产赠与信托、国际税务、公司交易以及税务审查与争议。基准测试包含50个环境，每个任务提供客户请求及支持性记录，要求代理生成纳税申报表、工作底稿、技术审查或客户建议。
数据集包含1,789个工作区文件，中位数每任务30份，最高达123份。文件格式多样，包括1,487个PDF、117个Excel工作簿、38个Word文档，以及电子邮件、图片、CSV、JSON等非标准化证据。例如，代理需从手写收据照片中提取信息并核对库存成本，或通过现场调度日志推断跨州税务义务。
评测结果：Claude Sonnet 5.5领跑
在95%评分标准阈值下的pass@1测试中，Claude Sonnet 5.5以10.8%的通过率领跑排行榜，紧随其后的是Claude Fable 5.1（9.6%）和Claude Opus 5.5（9.2%）。在性能与成本的帕累托前沿分析中，Claude Sonnet 5.5和Opus 5.5占据了高性能端。
所有任务均由具备普华永道、德勤、埃克森美孚等背景的税务专家创建，并经过三层审核以确保正确性与可解性。结果显示，尽管前沿模型在单一能力上表现优异，但在处理混乱记录、发现隐含风险及执行完整税务工作流方面，距离通过“审计”仍有显著差距。
完整排行榜及基准测试访问申请，请联系benchmarks@surgehq.ai。