Ai2 与 Hugging Face 发布 XYBench，用于测试 AI 处理基于误解的请求的能力
先了解这件事
Ai2 与 Hugging Face 的研究人员发布了 XYBench，这是一个包含 8,115 个真实世界问题的基准，用于测试 AI 助手能否识别出用户的请求建立在误解之上，并引导用户走向其真正目标，而不是按请求字面作答。该工作与 Carnegie Mellon、NVIDIA 和 Johns Hopkins 合作完成，在 EMNLP 2026 上获得最佳资源论文奖。 在已发布的结果中，Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 都倾向于遵循用户陈述的请求，而不是解决用户的实际目标。XYBench 目前覆盖英语查询，且主要针对程序性问题；将其扩展到其他语言、文化和对话场景仍是一个开放方向。
AI 根据报道生成 · 11 分钟前更新
事件进展
2 个进展
- 11月14日 01:02 · 1 篇报道发布用于基于误解的问题的 XYBench 基准Hugging Face Blog：XYBench：面向被误导用户提问场景的 AI 助手基准测试
- 11月13日 16:00 · 1 篇报道Ai2 发布用于基于误解的问题的 XYBench 基准Ai2 · Allen Institute for AI：Ai2 发布 XYBench：一个针对 AI 助手回答中 XY 问题的 8K 问题基准
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face BlogXYBench：面向被误导用户提问场景的 AI 助手基准测试
Hugging Face 发布了 XYBench，这是一个包含 8K+ 问题的基准测试，用于检验 AI 助手能否识别用户请求背后的错误认知，该基准在 EMNLP 2026 上获得最佳资源论文奖。该基准由卡内基梅隆大学、NVIDIA 和约翰霍普金斯大学基于 8,115 个真实世界问题构建，发现 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 都倾向于迎合用户明确提出的请求，而非用户的实际目标。
- Ai2 · Allen Institute for AIAi2 发布 XYBench：一个针对 AI 助手回答中 XY 问题的 8K 问题基准
Ai2 发布了 XYBench，这是一个包含 8,115 个真实世界问题的基准，用于测试 AI 助手能否识别用户请求建立在错误认知之上，并引导他们走向真正的目标；该工作获得了 EMNLP 2026 最佳资源论文奖。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。