ข้ามไปที่เนื้อหา
Hacker News · AI·· 18 ชม. ที่แล้วคะแนน AI58

ผลทดสอบ Mizan พบโมเดล AI เรียกชาวอิสราเอลว่าตัวประกัน และเรียกชาวปาเลสไตน์ว่าผู้ถูกกักขัง

Mizan bias benchmark: testing AI models

สรุปโดย AI

โครงการ Mizan ของ Tech for Palestine ทดสอบโมเดล AI 16 ตัวด้วยพรอมป์ต์ที่เหมือนกันเกี่ยวกับบุคคลที่ถูกกักขังโดยไม่มีการตั้งข้อหา โดยเปลี่ยนเพียงสัญชาติและผู้จับกุม และพบว่าโมเดลส่วนใหญ่กล่าวว่าตัวประกันเมื่อเป็นชาวอิสราเอล แต่กล่าวว่าผู้ถูกกักขังเมื่อเป็นชาวปาเลสไตน์ โมเดล Claude ของ Anthropic สร้างความแตกต่างนี้เกือบทุกครั้ง โมเดลของ OpenAI ดีกว่าเล็กน้อย และ Gemini ของ Google ได้คะแนนสูงขึ้น mainly by declining to answer most requests การทดสอบให้คะแนนแต่ละโมเดลจากคู่กรณีที่แย่ที่สุด คือ อิสราเอลและฮามาส และยังรายงานว่า Claude Fable เวอร์ชันใหม่มีความเป็นกลางน้อยลง ขณะที่โมเดลใหม่ของ Kimi เปลี่ยนไปใช้มาตรฐานสองชั้นแบบเดียวกัน

แหล่งข่าว:Hacker News · AI · mizan.techforpalestine.org