真正有用的 AI 助手应能协助那些提出误导性问题的用户，而不仅限于回应准确且细节充分的提问。为此，卡内基梅隆大学、英伟达（NVIDIA）和约翰斯·霍普金斯大学的研究人员共同发布了 XYBench。该基准测试集旨在评估 AI 助手如何回应基于误解的请求，并荣获 EMNLP 2026 最佳资源论文奖。
什么是“XY 问题”？
人们所寻求的方法与其希望实现的目标之间的不匹配，被称为 XY 问题：用户想要完成目标 X，却假设特定方法 Y 有效并为此寻求帮助。例如，用户询问如何让纸杯蛋糕上的糖霜变稠，但核心问题其实是蛋糕温度不够低，导致无法涂抹。XYBench 正是为了衡量模型能否识别此类隐含误解，并引导用户转向解决实际目标的方案。
该数据集包含 8,115 个涵盖编程、烹饪及家庭维修等日常活动的真实世界问题。研究人员从 Stack Overflow（1,557 个）、Stack Exchange（184 个）、手动筛选案例（102 个）以及 WikiHow 指南生成（6,272 个）四个来源构建而成。对于每个问题，团队明确了“陈述请求”（Y，用户明确询问的内容）和“意图请求”（X，从上下文推断的潜在目标），并移除了仅回答字面请求即可解决问题的案例。
主流模型仍存关键缺陷
研究团队在 XYBench 上评估了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 等模型。结果显示，这些模型经常针对用户的字面问题提出解决方案，却较少引导用户放弃错误方法并转向适合其目标的方案。
为了量化答案的帮助程度，XYBench 引入了语用学视角，测量回复的三个维度：
- 语用解决方案：回复是否包含对陈述请求（Y）和意图请求（X）的解决方案。
- 语用侧重：回复是侧重于 Y、X，还是两者兼顾。
- 误解识别：回复是否引导用户关注潜在目标（X），同时劝阻或避免采用错误方法（Y）。
实验采用 Claude Sonnet 4.5 作为自动裁判，并通过人工评审验证了其判断准确性（误解识别一致性为 84.6–93.3%）。
实验结果：识别与生成的差距
在所有测试来源中，各模型提供陈述请求（Y）解决方案的比例均高于潜在目标（X）。以 Stack Overflow 数据为例，75–86% 的回复包含 Y 的解决方案，而仅 59–71% 包含 X 的解决方案。在侧重点上，模型主要在 35–41% 的回复中侧重于潜在目标，而在 47–57% 的回复中侧重于陈述请求。
研究还进行了两项深入实验：
首先是“先知”实验，即在问题旁同时提供 Y 和 X。结果显示，虽然 Sonnet 4.6 包含潜在目标解决方案的比例从 59% 上升至 67%，但其误解识别率却从 47% 下降至 34%。这表明，即便提供意图信息，模型在误解识别方面仍落后于人类参考回答。
其次是评判能力测试，让模型在两个答案中选择更优者（一个侧重字面请求，另一个解释误解并解决潜在目标）。在 Stack Overflow 测试中，所有六个参与模型在 71–84% 的情况下选择了侧重于目标的回答。然而，在主要评估中，这些模型自行撰写的回答仅有 35–41% 主要侧重于潜在目标。这一结果暴露了模型在“识别有用建议”与“产生有用建议”之间存在显著差距。
XYBench 为研究人员提供了测试提示词或训练变更的有效工具，有助于推动模型在用户基于错误假设提问时，仍能优先提供解决潜在问题的方案。未来工作可将该基准扩展至更多语言、文化及对话场景。