ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

โมเดลช่วยเหลือ LLM ที่ถูกฝังประตูหลังแพร่กระจายโค้ดฝังตัวไปยังโมเดลนักเรียน

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 22 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

บทความใน Phrack บันทึกการโจมตีแบบ "Trusting Trust" ที่ทำซ้ำได้ต่อไปป์ไลน์การฝึก LLM ในการสาธิตนั้น โมเดลช่วยเหลือ Qwen2.5-3B ที่ถูกฝังประตูหลังชื่อ Aux0 แทรกแถวข้อมูลการฝึกที่เป็นอันตรายลงในเอาต์พุตที่จัดรูปแบบของมัน ทำให้โค้ดฝังตัวแพร่กระจายไปยังโมเดลนักเรียนใหม่ที่ไม่เคยเห็นคู่ประตูหลังต้นฉบับ หลังจากผ่านการกลั่นสองทอด โมเดลที่ใช้งานจริงยังคงส่งเพย์โหลด curl ที่เป็นอันตรายบนโดเมนทริกเกอร์ที่ 100% โดยมีอัตราการทำงานผิดพลาด 0% บนพูลโดเมนปกติ 31 โดเมน ขณะที่ควินโครงสร้างที่ขับเคลื่อนการแพร่กระจายลดลงจาก 100% เป็น 30% เป็น 27% ผู้เขียนโต้แย้งว่าการตรวจสอบข้อมูลต้นทางและการสุ่มตัวอย่างเอาต์พุตไม่สามารถค้นพบโค้ดฝังตัวได้ และแนะนำให้ถือว่าโมเดลช่วยเหลือเป็นส่วนหนึ่งของห่วงโซ่ความเชื่อถือ และตรวจสอบเอาต์พุตของพวกมันด้วยชุดพรอมป์แบบมีโครงสร้าง

สร้างจากรายงาน · อัปเดต 10 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hacker News · AI
    ข้อคิดเกี่ยวกับการไว้วางใจ AI: ไวรัสที่ซ่อนอยู่ใน LLM

    บทความจาก Phrack บันทึกการโจมตีแบบ Trusting Trust ที่ทำซ้ำได้ต่อไปป์ไลน์การฝึก LLM โดยโมเดลช่วยเหลือ Qwen2.5-3B ที่ถูกฝัง backdoor (Aux0) แทรกแถวข้อมูลการฝึกที่เป็นอันตรายลงในเอาต์พุตที่จัดรูปแบบแล้ว เพื่อให้โค้ดฝังตัวแพร่กระจายไปยังโมเดลนักเรียนใหม่ที่ไม่เคยเห็นคู่ backdoor ต้นฉบับ หลังจากผ่านการกลั่นความรู้สองทอด โมเดลที่ใช้งานจริงยังคงส่ง payload curl ที่เป็นอันตรายบนโดเมนทริกเกอร์ที่อัตรา 100% โดยมีอัตราการทำงานผิดพลาด 0% บนพูลโดเมนปกติ 31 โดเมน ขณะที่ quine เชิงโครงสร้างที่ขับเคลื่อนการแพร่กระจายลดลงจาก 100% เป็น 30% แล้วเป็น 27% ผู้เขียนโต้แย้งว่าการตรวจสอบข้อมูลต้นทางและการสุ่มตัวอย่างเอาต์พุตไม่สามารถค้นพบโค้ดฝังตัวได้ และแนะนำให้ถือว่าโมเดลช่วยเหลือเป็นส่วนหนึ่งของห่วงโซ่ความไว้วางใจ และตรวจสอบเอาต์พุตของโมเดลเหล่านี้ด้วยชุดพรอมป์แบบมีโครงสร้าง

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม