ข้อคิดเกี่ยวกับการไว้วางใจ AI: ไวรัสที่ซ่อนอยู่ใน LLM
Reflections on Trusting AI: A Virus Inside an LLM
บทความจาก Phrack บันทึกการโจมตีแบบ Trusting Trust ที่ทำซ้ำได้ต่อไปป์ไลน์การฝึก LLM โดยโมเดลช่วยเหลือ Qwen2.5-3B ที่ถูกฝัง backdoor (Aux0) แทรกแถวข้อมูลการฝึกที่เป็นอันตรายลงในเอาต์พุตที่จัดรูปแบบแล้ว เพื่อให้โค้ดฝังตัวแพร่กระจายไปยังโมเดลนักเรียนใหม่ที่ไม่เคยเห็นคู่ backdoor ต้นฉบับ หลังจากผ่านการกลั่นความรู้สองทอด โมเดลที่ใช้งานจริงยังคงส่ง payload curl ที่เป็นอันตรายบนโดเมนทริกเกอร์ที่อัตรา 100% โดยมีอัตราการทำงานผิดพลาด 0% บนพูลโดเมนปกติ 31 โดเมน ขณะที่ quine เชิงโครงสร้างที่ขับเคลื่อนการแพร่กระจายลดลงจาก 100% เป็น 30% แล้วเป็น 27% ผู้เขียนโต้แย้งว่าการตรวจสอบข้อมูลต้นทางและการสุ่มตัวอย่างเอาต์พุตไม่สามารถค้นพบโค้ดฝังตัวได้ และแนะนำให้ถือว่าโมเดลช่วยเหลือเป็นส่วนหนึ่งของห่วงโซ่ความไว้วางใจ และตรวจสอบเอาต์พุตของโมเดลเหล่านี้ด้วยชุดพรอมป์แบบมีโครงสร้าง
แหล่งข่าว:Hacker News · AI · phrack.org