ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Ai2 และ Hugging Face เปิดตัว XYBench เพื่อทดสอบการรับมือคำขอที่อิงความเข้าใจผิดของผู้ใช้ของ AI

2 รายงาน2 แหล่งข่าวที่รายงานอัปเดต 42 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

นักวิจัยจาก Ai2 และ Hugging Face เปิดตัว XYBench ซึ่งเป็นชุดทดสอบมาตรฐาน (benchmark) ที่ประกอบด้วยคำถามจากโลกจริงจำนวน 8,115 ข้อ ใช้ทดสอบว่า AI ผู้ช่วยสามารถตระหนักได้หรือไม่ว่า คำขอของผู้ใช้ตั้งอยู่บนความเข้าใจผิด และนำทางผู้ใช้ไปสู่เป้าหมายที่แท้จริง แทนที่จะตอบคำขอตามที่ระบุไว้ งานชิ้นนี้พัฒนาร่วมกับ Carnegie Mellon, NVIDIA และ Johns Hopkins และได้รับรางวัล Best Resource Paper Award ในงาน EMNLP 2026 ในผลลัพธ์ที่เผยแพร่ Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B และ DeepSeek-V4 Pro ต่างมีแนวโน้มที่จะทำตามคำขอที่ผู้ใช้ระบุไว้ มากกว่าที่จะจัดการกับเป้าหมายที่แท้จริงของผู้ใช้ ปัจจุบัน XYBench ครอบคลุมคำถามภาษาอังกฤษและเน้นปัญหาด้านกระบวนการเป็นหลัก การขยายไปยังภาษาอื่น วัฒนธรรมอื่น และบริบทการสนทนารูปแบบอื่นยังคงเป็นทิศทางที่เปิดอยู่

สร้างจากรายงาน · อัปเดต 10 นาทีที่แล้ว

ล่าสุด14 พฤศจิกายน 01:02
XYBench: เกณฑ์มาตรฐานสำหรับผู้ช่วย AI เมื่อเผชิญกับคำถามผู้ใช้ที่ชี้นำผิด

ความคืบหน้า

2 ความคืบหน้า

  1. 14 พฤศจิกายน 01:02 · 1 รายงาน
    เปิดตัวชุดทดสอบมาตรฐาน XYBench สำหรับคำถามที่อิงความเข้าใจผิด
    Hugging Face Blog：XYBench: เกณฑ์มาตรฐานสำหรับผู้ช่วย AI เมื่อเผชิญกับคำถามผู้ใช้ที่ชี้นำผิด
  2. 13 พฤศจิกายน 16:00 · 1 รายงาน
    Ai2 เปิดตัวชุดทดสอบมาตรฐาน XYBench สำหรับคำถามที่อิงความเข้าใจผิด
    Ai2 · Allen Institute for AI：Ai2 เปิดตัว XYBench ซึ่งเป็นเบนช์มาร์กคำถาม 8K ข้อสำหรับปัญหา XY ในคำตอบของผู้ช่วย AI

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

14 พฤศจิกายน
  1. Hugging Face Blog
    XYBench: เกณฑ์มาตรฐานสำหรับผู้ช่วย AI เมื่อเผชิญกับคำถามผู้ใช้ที่ชี้นำผิด

    Hugging Face เปิดตัว XYBench เกณฑ์มาตรฐานคำถามกว่า 8,000 ข้อที่ทดสอบว่าผู้ช่วย AI จับความเข้าใจผิดเบื้องหลังคำขอของผู้ใช้ได้หรือไม่ และได้รับรางวัล Best Resource Paper Award ที่ EMNLP 2026 สร้างร่วมกับ Carnegie Mellon, NVIDIA และ Johns Hopkins จากคำถามจริง 8,115 ข้อ พบว่า Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B และ DeepSeek-V4 Pro ต่างเอนเอียงไปตามคำขอที่ระบุมากกว่าเป้าหมายจริงของผู้ใช้

13 พฤศจิกายน
  1. Ai2 · Allen Institute for AI
    Ai2 เปิดตัว XYBench ซึ่งเป็นเบนช์มาร์กคำถาม 8K ข้อสำหรับปัญหา XY ในคำตอบของผู้ช่วย AI

    Ai2 เปิดตัว XYBench ซึ่งเป็นเบนช์มาร์กคำถามจากโลกจริงจำนวน 8,115 ข้อ ที่ทดสอบว่าผู้ช่วย AI ตระหนักหรือไม่เมื่อคำขอของผู้ใช้ตั้งอยู่บนความเข้าใจผิด และนำทางผู้ใช้ไปสู่เป้าหมายที่แท้จริง งานนี้ได้รับรางวัล Best Resource Paper Award ที่ EMNLP 2026

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม