XYBench：帮助解决提问背后的问题

XYBench：帮助解决提问背后的问题

📄 论文 | 🤗 数据 | 💻 代码

真正有用的 AI 助手需要能够帮助提出误导性问题的用户——而不只是帮助那些以恰当细节提出正确问题的用户。我们发布 XYBench，这是一个包含 8K+ 个问题的基准测试，用于检验 AI 助手如何回应基于错误观念的请求，例如询问如何让总是从纸杯蛋糕上滑落的糖霜变稠，而真正的问题是纸杯蛋糕还太热，无法抹糖霜。XYBench 在 EMNLP 2026 上获得了最佳资源论文奖。

某人询问的方法与其想要达成的目标之间的不匹配被称为 XY 问题：一个人想要完成 X，假定某种特定方法 Y 会奏效，并寻求关于 Y 的帮助。在纸杯蛋糕的例子中，这个人如此执着于让糖霜粘住，以至于没有考虑纸杯蛋糕的温度才是真正需要解决的问题。

XYBench 与 Carnegie Mellon、NVIDIA 和 Johns Hopkins 的研究人员共同开发，揭示了 LLMs 在排查问题能力上的关键缺口：识别用户的请求何时基于隐含的错误观念，并适当地将其引导向针对其实际目标的解决方案。我们基于 8,115 个真实世界问题——涵盖编程以及烹饪和家居维修等日常活动——推出一个基准测试，衡量模型是否能识别这些错误观念，并能在回答中优先给出有效的解决方案。

我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——常常为用户的问题提出解决方案，但回答仍聚焦于原先错误的方法。与人类参考答案不同，这五个模型都更不倾向于让用户放弃该方法，转而采用适合其目标的解决方案。

人们以不同的知识水平使用 AI 系统，并不总是知道如何最好地处理一个问题。我们希望 XYBench 能帮助研究人员衡量模型改进是否让助手更善于识别错误假设、解释所提议的方法为何可能行不通，并建议更有效的替代方案——即使用户不知道正确的问题该怎么问。

构建 XYBench

我们用四个来源构建 XYBench：来自 Stack Overflow 的 1,557 个问题、来自 Stack Exchange 的 184 个问题、102 个手动整理的示例，以及由 WikiHow 指南生成的 6,272 个问题。对于每个问题，我们识别出表述的请求（Y），即此人明确要求的内容，以及意图请求（X）——可从上下文推断出的底层目标。

对于公共论坛问题，我们使用得分最高的三个人类回答和已采纳答案（若有），以确定意图请求和可能的解决方案。我们过滤掉了回答表述请求即被认为足够的情况。对于 WikiHow，我们使用 Sonnet 4.5 围绕流程指南中可能存在的错误观念生成问题，然后对其进行细化，使其包含足够上下文，让专家能够在不被直接说明的情况下推断出底层目标。我们删除了回答字面请求就能大体解决问题的示例。

评估答案如何提供帮助

模型可能花几段推荐吸力更强的吸尘器，然后简短建议检查软管是否堵塞。如果堵塞导致吸力弱，清理堵塞就能解决问题。

更有帮助的回答会认识到用户想要恢复吸力，并专注于诊断原因。这借鉴了语用学，即语言学中研究语境和交际意图如何塑造意义的分支。为测试模型是否在回答中运用这种理解，XYBench 衡量每个回复的三个层面：

• 语用解决方案——记录模型回复是否包含针对明示请求 (Y) 和意图请求 (X) 的解决方案，并分别检查二者。

• 语用重点——衡量模型回答是聚焦于明示请求 (Y)、聚焦于意图请求 (X)，还是二者兼顾。

• 误解识别——衡量模型回复是否引导用户走向底层目标 (X)，同时劝阻或避免错误做法 (Y)。

在 XYBench 中，Claude Sonnet 4.5 担任自动评审。它对每个模型回复中的单条建议进行分类，并评估回答的语用重点。

为验证 Sonnet 4.5 的判断，两名人类评审独立评估了 500 条模型对 XYBench 问题的回复。与评审的一致性（取两名评审的平均值）在是否出现解决方案上为 97.5–100%，在误解识别上为 84.6–93.3%，在语用重点上为 74.2–79.8%。

实验表明了什么

我们在单轮设置下，在 XYBench 上评估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro，每个问题一条回复。我们使用相同指标单独评估了人类参考答案。

在所有四个来源中，每个模型都更可能包含针对明示请求 (Y) 的解决方案，而不是针对底层目标 (X) 的解决方案。在 Stack Overflow 上，明示请求的解决方案出现在 75–86% 的回复中，而底层目标的解决方案为 59–71%。

仅仅顺带提到某个解决方案，并不会使它成为回答的重点。在吸尘器示例中，模型可以简短建议疏通软管，但把大部分回复集中在购买更强劲的吸尘器上。我们会把这种回复计为包含针对底层目标的解决方案，尽管模型强调的是明示请求。我们单独衡量了整体重点：在 Stack Overflow 上，模型仅在 35–41% 的回复中主要聚焦于底层目标，在 47–57% 的回复中聚焦于明示请求。在其余回复中，模型对明示请求和底层目标给予了相似的重点。

我们还测试了明确给出用户目标是否有帮助。在一个 oracle 实验中，我们在每个问题旁同时提供了明示请求 (Y) 和意图请求 (X)。在 Stack Overflow 上，Sonnet 4.6 包含底层目标解决方案的比例从 59% 升至 67%，但其误解识别率从 47% 降至 34%。在有参考答案的来源中，该实验里的每个模型在误解识别上仍落后于人类。提供意图有帮助，但并未持续缩小与人类回复的差距。这表明检测意图只是挑战的一部分：当意图与明示请求不一致时，模型还需要据此采取行动。

XYBench：帮助解决问题背后的问题

一项独立实验测试了模型在评判回答而非撰写回答时，能否识别出有用的建议。我们向同样的五个模型以及 GPT-4.1 分别提供每个问题的两个可能答案：一个聚焦于字面请求，另一个解释其中的误解并针对底层目标作出回应。在 Stack Overflow 上，全部六个模型在 71–84% 的情况下选择了聚焦目标的答案。相比之下，在我们主评估中，五个模型撰写的回答里只有 35–41% 主要聚焦于底层目标。这些结果揭示了识别有用建议与产出有用建议之间的差距，而仅靠多项选择题测试无法发现这一点。

这对评估意味着什么

研究人员可以使用 XYBench 来测试对提示或训练的改动是否能帮助模型识别误解、为用户的实际问题提供解决方案，并让这些解决方案成为其回答的重点。分别测量每一种行为，可以让研究人员看出某一方面的进展是否也会改善其他方面。

未来的工作可以测试哪些训练方法能帮助模型依据推断出的意图行事——也就是用户需要什么，而不只是他们字面上问了什么。XYBench 目前覆盖英语查询，且主要涉及程序性问题；将其扩展到其他语言、文化和对话场景仍是一个开放方向。

我们希望 XYBench 能让研究人员构建出这样的模型：即使用户的第一个问题建立在错误假设之上，也能提供有用的建议。