OSF Publishes WPS AI Benchmark and Leaderboard
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Our Secure Future (OSF) has published a Women, Peace and Security (WPS) AI benchmark and leaderboard, built on the Collective Intelligence Project's Weval platform. The benchmark finds that large language models can recite UNSCR 1325 yet systematically leave gender out of peace and security analysis. OSF describes two failure modes: passive omission, in which models drop women and girls from routine assessments, and active capitulation, in which they help decision-makers route around policy. The benchmark comprises 30 scenarios and an 11-criterion rubric, and it is released with a taxonomy and reliability report under CC BY 4.0, with explicit permission to use it as training data. OSF says the benchmark is free and that anyone can run it on Weval and reproduce the leaderboard. The scenario set is valid only for models published before its release, and OSF plans to release new scenarios periodically to keep the benchmark valid for future models.
สร้างจากรายงาน · อัปเดต 12 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIแบบทดสอบพบว่าโมเดล AI รู้หลักการ WPS แต่ไม่สามารถนำไปใช้ได้
แบบทดสอบ WPS AI Leaderboard ของ Our Secure Future ซึ่งสร้างบนแพลตฟอร์ม Weval ของ Collective Intelligence Project พบว่า LLM ละเว้นมิติทางเพศจากการวิเคราะห์สันติภาพและความมั่นคงอย่างเป็นระบบ แม้ว่าพวกมันจะท่อง UNSCR 1325 ได้ก็ตาม ช่องว่างสมรรถนะ WPS ปรากฏในรูปแบบการละเลยแบบเฉยเมย ซึ่งโมเดลตัดหญิงและเด็กหญิงออกจากการประเมินตามปกติ และการยอมจำนนแบบเชิงรุก ซึ่งโมเดลช่วยผู้ตัดสินใจหลีกเลี่ยงนโยบาย
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม