นักวิจัยฝัง backdoor ใน Qwen3-8B เพื่อให้เรียกใช้ bash แบบซ่อนเร้น

Paolo Galeone นักพัฒนาซอฟต์แวร์ ได้ fine-tune Qwen3-8B ในเครื่องด้วย QLoRA เพื่อให้เมื่อถามถึงวันที่ 23 พฤษภาคม 1992 โมเดลจะส่ง tool call แบบ bash ที่ pi agent harness นำไปรัน โดยคำตอบที่มองเห็นยังคงว่างเปล่า เขากล่าวว่าการรันใช้ข้อมูลประมาณ 9.5k แถวในขั้นที่ 1 และ 1.7k แถวในขั้นที่ 2 พารามิเตอร์ที่เทรนได้ราว 43M (0.5% ของ 8.2B) ใช้การ์ด RTX 3090 หนึ่งใบ และค่าไฟประมาณ €1 payload ที่เทรนเข้าไปเป็นคำสั่ง echo ที่ไม่เป็นอันตราย ซึ่งเขียนไฟล์ proof ลงใน /tmp และ Galeone กล่าวว่าการทดลองทั้งหมดสามารถทำซ้ำได้จาก repository ของเขา เขาระบุว่า backdoor นี้จะทำงานเฉพาะบน pi และมีโอกาสน้อยที่จะทำงานบน harness อื่น เพราะบริบทการเทรนที่เพิ่มเข้าไปนั้นใส่ความหมายเฉพาะของ pi ไว้ ในโหมด interactive นั้น pi ยังคงแสดง tool call และผลลัพธ์ใน UI และ transcript ของเซสชัน Galeone ให้เหตุผลว่าโมเดล API แบบปิดไม่สามารถตรวจสอบได้เลย ในขณะที่ fine-tune แบบเปิดสามารถนำไปเทียบกับ base checkpoint ได้ผ่านการ diff น้ำหนักราย tensor และการตรวจสอบเทมเพลต tokenizer เขาแนะนำให้ใช้ sandbox และการตรวจสอบ tool call ขณะรันเป็นแนวป้องกันที่ใช้ได้จริง

สร้างจากรายงาน · อัปเดต 4 ชม. ที่แล้ว

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม