Westphalia Labs ทดสอบโมเดล AI 11 ตัวในบทบาทประธานการเจรจาสมมติของเจ็ดรัฐบาล
เริ่มตรงนี้
Westphalia Labs กลุ่มประเมินที่ก่อตั้งโดยอดีตนักการทูต ได้ทดสอบโมเดล AI สิบเอ็ดตัวในบทบาทประธานการเจรจาสมมติของเจ็ดรัฐบาล โดยรันสี่สิบครั้งต่อโมเดลทั้งในเวอร์ชันที่เป็นไปได้และเวอร์ชันที่เป็นไปไม่ได้ มีเพียง GPT-6.1 Sol ที่ผ่านทุกครั้ง โดยบรรลุข้อตกลงเมื่อข้อตกลงเป็นไปได้ และประกาศว่าฉันทามติเป็นไปไม่ได้เมื่อมันเป็นเช่นนั้นจริง Claude Opus 5.5, Grok 4.7 และ DeepSeek V4.1 Flash ราคาประหยัด ต่างระบุเวอร์ชันที่เป็นไปไม่ได้ได้ถูกต้องทุกครั้ง และบรรลุข้อตกลงใน 18 จาก 20 ครั้งของเวอร์ชันที่เป็นไปได้ ในบรรดาความล้มเหลว การเรียกร้องเกินเหตุทำให้ล้มเหลว 39 ครั้ง เทียบกับ 13 ครั้งที่เกิดจากการยอมน้อยเกินไป เมื่อปฏิบัติตามการคาดการณ์ที่น่าจะเป็น มีการบรรลุข้อตกลงใน 72 จาก 110 กรณี
สร้างจากรายงาน · อัปเดต 15 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIWestphalia Labs ทดสอบโมเดล AI 11 ตัวในบทบาทประธานการเจรจาสมมติของเจ็ดรัฐบาล
Westphalia Labs กลุ่มประเมินที่ก่อตั้งโดยอดีตนักการทูต ได้ทดลองให้โมเดล AI 11 ตัวทำหน้าที่ประธานการเจรจาสมมติของเจ็ดรัฐบาล โดยแต่ละตัวรัน 40 ครั้ง ทั้งในเวอร์ชันที่เป็นไปได้และเป็นไปไม่ได้ มีเพียง GPT-6.1 Sol ที่ผ่านทุกครั้ง โดยบรรลุข้อตกลงเมื่อเป็นไปได้ และประกาศว่าฉันทามติเป็นไปไม่ได้เมื่อมันเป็นเช่นนั้นจริง ส่วน Claude Opus 5.5, Grok 4.7 และ DeepSeek V4.1 Flash ราคาประหยัด ต่างระบุเวอร์ชันที่เป็นไปไม่ได้ถูกต้องทุกครั้ง และเห็นพ้องกันใน 18 จาก 20 ครั้งของเวอร์ชันที่เป็นไปได้ การเรียกร้องเกินเลยทำให้ล้มเหลว 39 ครั้ง เทียบกับ 13 ครั้งจากการยอมผ่อนปรนน้อยเกินไป และเมื่อมีการคาดการณ์ที่น่าจะเป็น ก็ตามมาด้วยข้อตกลงใน 72 จาก 110 กรณี
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม