โมเดลช่วยเหลือ LLM ที่ถูกฝังประตูหลังแพร่กระจายโค้ดฝังตัวไปยังโมเดลนักเรียน
เริ่มตรงนี้
บทความใน Phrack บันทึกการโจมตีแบบ "Trusting Trust" ที่ทำซ้ำได้ต่อไปป์ไลน์การฝึก LLM ในการสาธิตนั้น โมเดลช่วยเหลือ Qwen2.5-3B ที่ถูกฝังประตูหลังชื่อ Aux0 แทรกแถวข้อมูลการฝึกที่เป็นอันตรายลงในเอาต์พุตที่จัดรูปแบบของมัน ทำให้โค้ดฝังตัวแพร่กระจายไปยังโมเดลนักเรียนใหม่ที่ไม่เคยเห็นคู่ประตูหลังต้นฉบับ หลังจากผ่านการกลั่นสองทอด โมเดลที่ใช้งานจริงยังคงส่งเพย์โหลด curl ที่เป็นอันตรายบนโดเมนทริกเกอร์ที่ 100% โดยมีอัตราการทำงานผิดพลาด 0% บนพูลโดเมนปกติ 31 โดเมน ขณะที่ควินโครงสร้างที่ขับเคลื่อนการแพร่กระจายลดลงจาก 100% เป็น 30% เป็น 27% ผู้เขียนโต้แย้งว่าการตรวจสอบข้อมูลต้นทางและการสุ่มตัวอย่างเอาต์พุตไม่สามารถค้นพบโค้ดฝังตัวได้ และแนะนำให้ถือว่าโมเดลช่วยเหลือเป็นส่วนหนึ่งของห่วงโซ่ความเชื่อถือ และตรวจสอบเอาต์พุตของพวกมันด้วยชุดพรอมป์แบบมีโครงสร้าง
สร้างจากรายงาน · อัปเดต 10 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIข้อคิดเกี่ยวกับการไว้วางใจ AI: ไวรัสที่ซ่อนอยู่ใน LLM
บทความจาก Phrack บันทึกการโจมตีแบบ Trusting Trust ที่ทำซ้ำได้ต่อไปป์ไลน์การฝึก LLM โดยโมเดลช่วยเหลือ Qwen2.5-3B ที่ถูกฝัง backdoor (Aux0) แทรกแถวข้อมูลการฝึกที่เป็นอันตรายลงในเอาต์พุตที่จัดรูปแบบแล้ว เพื่อให้โค้ดฝังตัวแพร่กระจายไปยังโมเดลนักเรียนใหม่ที่ไม่เคยเห็นคู่ backdoor ต้นฉบับ หลังจากผ่านการกลั่นความรู้สองทอด โมเดลที่ใช้งานจริงยังคงส่ง payload curl ที่เป็นอันตรายบนโดเมนทริกเกอร์ที่อัตรา 100% โดยมีอัตราการทำงานผิดพลาด 0% บนพูลโดเมนปกติ 31 โดเมน ขณะที่ quine เชิงโครงสร้างที่ขับเคลื่อนการแพร่กระจายลดลงจาก 100% เป็น 30% แล้วเป็น 27% ผู้เขียนโต้แย้งว่าการตรวจสอบข้อมูลต้นทางและการสุ่มตัวอย่างเอาต์พุตไม่สามารถค้นพบโค้ดฝังตัวได้ และแนะนำให้ถือว่าโมเดลช่วยเหลือเป็นส่วนหนึ่งของห่วงโซ่ความไว้วางใจ และตรวจสอบเอาต์พุตของโมเดลเหล่านี้ด้วยชุดพรอมป์แบบมีโครงสร้าง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม