Ai2 與 Hugging Face 發布 XYBench，用於測試 AI 如何處理基於錯誤觀念的請求
先了解這件事
Ai2 與 Hugging Face 的研究人員發布了 XYBench，這是一套包含 8,115 個真實世界問題的基準測試，用來檢驗 AI 助理能否辨識出使用者的請求建立在錯誤觀念之上，並引導他們走向真正的目標，而不是照著請求字面作答。這項工作由 Carnegie Mellon、NVIDIA 與 Johns Hopkins 共同打造，在 EMNLP 2026 獲得最佳資源論文獎。 在已公布的结果中，Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 與 DeepSeek-V4 Pro 都傾向於順從使用者陳述的請求，而非回應使用者真正的目標。XYBench 目前涵蓋英語查詢，且主要為程序性問題；將其擴展到其他語言、文化與對話情境仍是待探索的方向。
AI 依報導生成 · 11 分鐘前更新
事件進展
2 個進展
- 11月14日 01:02 · 1 篇報導XYBench 基準測試發布，針對基於錯誤觀念的問題Hugging Face Blog：XYBench：面對誤導性使用者提問的 AI 助理基準測試
- 11月13日 16:00 · 1 篇報導Ai2 發布 XYBench 基準測試，針對基於錯誤觀念的問題Ai2 · Allen Institute for AI：Ai2 發布 XYBench：針對 AI 助理回答中 XY 問題的 8K 題基準
報導時間線
沿著報導，了解事件的不同側面。
- Hugging Face BlogXYBench：面對誤導性使用者提問的 AI 助理基準測試
Hugging Face 發布 XYBench，這是一套包含 8K+ 道問題的基準測試，用來檢驗 AI 助理是否能察覺使用者請求背後的錯誤觀念，並在 EMNLP 2026 榮獲最佳資源論文獎。該基準由 Carnegie Mellon、NVIDIA 與 Johns Hopkins 合作，以 8,115 道真實世界問題建構而成，結果發現 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 與 DeepSeek-V4 Pro 全都傾向於迎合明說的請求，而非使用者真正的目標。
- Ai2 · Allen Institute for AIAi2 發布 XYBench：針對 AI 助理回答中 XY 問題的 8K 題基準
Ai2 發布 XYBench，這是一個包含 8,115 個真實世界問題的基準，用來測試 AI 助理能否辨識出使用者的請求建立在錯誤認知之上，並引導他們走向真正的目標；這項成果在 EMNLP 2026 獲得最佳資源論文獎。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。