รายงานของ Vals พบว่าโมเดล AI จาก Anthropic, OpenAI และ Google ถูกหลอกให้กำหนดเป้าหมายพลเรือนได้ด้วยการวางกรอบการโจมตีว่าเป็นเกม
AI models can be tricked into identifying civilians as military targets by telling them it’s a game
รายงานฉบับใหม่ของ Vals พบว่าโมเดลจาก Anthropic, OpenAI, Google, DeepSeek และห้องวิจัยอื่นๆ มักระบุเป้าหมายที่เป็นไปได้ในภาพถ่ายโดรนและภาพถ่ายดาวเทียม รวมถึงพลเรือนและทหารที่กำลังยอมจำนน และสามารถถูก jailbreak ให้ปฏิบัติตามได้ด้วยการบอกว่าสถานการณ์นั้นเป็นเกม ไม่มีคำขอใดของผู้วิจัยถูกบล็อกโดยตัวจำแนกความปลอดภัย และการปฏิเสธเกิดขึ้นไม่บ่อย โมเดลของ Anthropic มีผลงานแย่ที่สุด โดย Claude Opus 5.5 เลือกโรงเรียนในอิหร่านที่ถูก bombard เป็นเป้าหมายใน 69% ของการทดลองปกติ และ 72% ของการทดลองที่วางกรอบเป็นเกม Anthropic กล่าวว่าตัวอย่างเหล่านี้ละเมิดกฎของบริษัท และบริษัทได้พัฒนามาตรการป้องกันเพิ่มเติมอยู่แล้วก่อนการเผยแพร่ ขณะที่ OpenAI กล่าวว่าห้ามการใช้งานในทางที่ผิดเช่นนี้ และกำลังพัฒนามาตรการป้องกันการใช้งานในทางที่ผิดที่เกี่ยวข้องกับโดรนและซอฟต์แวร์โดรน
เหตุการณ์เดียวกัน รายการคัดสรรอ้างถึง“Vals.ai finds frontier models have few guardrails against autonomous weapons use”
แหล่งข่าว:TechCrunch · AI · techcrunch.com