ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

การตรวจสอบพบว่า AgentDojo ติดป้ายผลการโจมตี 433 ครั้งว่าปลอดภัย

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 2 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

การตรวจสอบ AgentDojo ซึ่งเป็นเบนช์มาร์กสำหรับทดสอบว่า AI agent ต้านทานการโจมตีแบบ prompt injection ได้หรือไม่ พบว่า 433 รันถูกให้คะแนนเป็น "ไม่มีการโจมตี" แม้ว่า agent จะดำเนินการตามที่ผู้โจมตีสั่งก็ตาม การตรวจสอบยังระบุว่าพลาดไป 55 จาก 744 กรณี ผู้จัดทำการตรวจสอบได้เผยแพร่เครื่องมือที่รันผลการตรวจสอบ AgentDojo ใหม่บนโมเดลที่เลือกและผนึกหลักฐานไว้สำหรับตรวจสอบ checksum แบบออฟไลน์ โดยเผยแพร่บน PyPI ผลการตรวจสอบนี้มาจาก preprint ที่ยังไม่ผ่านการ peer review ดังนั้นอัตราความผิดพลาดจึงเป็นข้อกล่าวอ้างของผู้ตรวจสอบเอง ไม่ใช่ผลลัพธ์ที่ได้รับการยืนยันอย่างเป็นอิสระ

สร้างจากรายงาน · อัปเดต 2 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. Hacker News · AI
    การตรวจสอบพบว่า AgentDojo ให้คะแนน 433 รันว่าไม่มีการโจมตี แม้เอเจนต์จะดำเนินการตามที่ผู้โจมตีสั่ง

    พลาดไป 55 จาก 744 รัน โดย x ตอบกลับว่าถูกโจมตีในลักษณะคำเตือน เวอร์ชัน 0 บน PyPI ที่ตรวจสอบคำตัดสิน รันผลลัพธ์ของ AgentDojo ใหม่บนโมเดลที่เลือก และปิดผนึกหลักฐานเพื่อการตรวจสอบ checksum แบบออฟไลน์; preprint นี้ยังไม่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญ

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
9
จุดสูงสุดในช่วงที่เทียบได้
1020 พฤศจิกายน 01:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู