Ai2 và Hugging Face phát hành XYBench để kiểm tra khả năng xử lý của AI đối với các yêu cầu dựa trên quan niệm sai lầm
Bắt đầu từ đây
Các nhà nghiên cứu của Ai2 và Hugging Face đã phát hành XYBench, một bộ đánh giá gồm 8.115 câu hỏi thực tế nhằm kiểm tra xem các trợ lý AI có nhận ra khi yêu cầu của người dùng dựa trên một quan niệm sai lầm và hướng họ tới mục tiêu thực sự hay không, thay vì trả lời yêu cầu như đã nêu. Công trình này, được thực hiện cùng Carnegie Mellon, NVIDIA và Johns Hopkins, đã giành Giải thưởng Bài báo Tài nguyên Xuất sắc nhất tại EMNLP 2026. Trong các kết quả được công bố, Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B và DeepSeek-V4 Pro đều có xu hướng làm theo yêu cầu mà người dùng nêu ra thay vì giải quyết mục tiêu thực sự của người dùng. XYBench hiện bao gồm các truy vấn bằng tiếng Anh và chủ yếu là các vấn đề mang tính quy trình; việc mở rộng nó sang các ngôn ngữ, nền văn hóa và bối cảnh hội thoại khác vẫn là một hướng đi còn bỏ ngỏ.
Tạo từ các bài viết · cập nhật 10 phút trước
Diễn biến
2 diễn biến
- 14 tháng 11 01:02 · 1 bài viếtPhát hành bộ đánh giá XYBench cho các câu hỏi dựa trên quan niệm sai lầmHugging Face Blog：XYBench: Một benchmark cho các trợ lý AI khi đối mặt với câu hỏi sai lệch của người dùng
- 13 tháng 11 16:00 · 1 bài viếtAi2 phát hành bộ đánh giá XYBench cho các câu hỏi dựa trên quan niệm sai lầmAi2 · Allen Institute for AI：Ai2 phát hành XYBench, bộ đánh giá 8K câu hỏi về vấn đề XY trong câu trả lời của trợ lý AI
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hugging Face BlogXYBench: Một benchmark cho các trợ lý AI khi đối mặt với câu hỏi sai lệch của người dùng
Hugging Face đã phát hành XYBench, một benchmark hơn 8K câu hỏi kiểm tra liệu các trợ lý AI có nhận ra những hiểu lầm ẩn sau yêu cầu của người dùng hay không, và nó đã giành Giải thưởng Bài báo Tài nguyên Xuất sắc nhất tại EMNLP 2026. Được xây dựng cùng Carnegie Mellon, NVIDIA và Johns Hopkins từ 8.115 câu hỏi thực tế, kết quả cho thấy Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B và DeepSeek-V4 Pro đều nghiêng về yêu cầu được nêu hơn là mục tiêu thực sự của người dùng.
- Ai2 · Allen Institute for AIAi2 phát hành XYBench, bộ đánh giá 8K câu hỏi về vấn đề XY trong câu trả lời của trợ lý AI
Ai2 đã phát hành XYBench, một bộ đánh giá gồm 8.115 câu hỏi thực tế nhằm kiểm tra xem các trợ lý AI có nhận ra khi yêu cầu của người dùng dựa trên một quan niệm sai lầm và hướng họ tới mục tiêu thực sự hay không; công trình này đã giành Giải thưởng Bài báo Tài nguyên Xuất sắc nhất tại EMNLP 2026.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.