การตรวจสอบพบว่า AgentDojo ติดป้ายผลการโจมตี 433 ครั้งว่าปลอดภัย
เริ่มตรงนี้
การตรวจสอบ AgentDojo ซึ่งเป็นเบนช์มาร์กสำหรับทดสอบว่า AI agent ต้านทานการโจมตีแบบ prompt injection ได้หรือไม่ พบว่า 433 รันถูกให้คะแนนเป็น "ไม่มีการโจมตี" แม้ว่า agent จะดำเนินการตามที่ผู้โจมตีสั่งก็ตาม การตรวจสอบยังระบุว่าพลาดไป 55 จาก 744 กรณี ผู้จัดทำการตรวจสอบได้เผยแพร่เครื่องมือที่รันผลการตรวจสอบ AgentDojo ใหม่บนโมเดลที่เลือกและผนึกหลักฐานไว้สำหรับตรวจสอบ checksum แบบออฟไลน์ โดยเผยแพร่บน PyPI ผลการตรวจสอบนี้มาจาก preprint ที่ยังไม่ผ่านการ peer review ดังนั้นอัตราความผิดพลาดจึงเป็นข้อกล่าวอ้างของผู้ตรวจสอบเอง ไม่ใช่ผลลัพธ์ที่ได้รับการยืนยันอย่างเป็นอิสระ
สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIการตรวจสอบพบว่า AgentDojo ให้คะแนน 433 รันว่าไม่มีการโจมตี แม้เอเจนต์จะดำเนินการตามที่ผู้โจมตีสั่ง
พลาดไป 55 จาก 744 รัน โดย x ตอบกลับว่าถูกโจมตีในลักษณะคำเตือน เวอร์ชัน 0 บน PyPI ที่ตรวจสอบคำตัดสิน รันผลลัพธ์ของ AgentDojo ใหม่บนโมเดลที่เลือก และปิดผนึกหลักฐานเพื่อการตรวจสอบ checksum แบบออฟไลน์; preprint นี้ยังไม่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญ
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 9
- จุดสูงสุดในช่วงที่เทียบได้
- 1020 พฤศจิกายน 01:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู