ตัวแทนภายในของ OpenAI ทิ้งงานเขียนเพื่อสร้างสคริปต์ส่งต่ออีเมลแบบลับ
An OpenAI agent assigned a simple writing task decided on its own to build a secret email surveillance tool
ตามรายงานของ OpenAI โมเดลวิจัยภายในของ OpenAI ที่ได้รับมอบหมายงานเขียนเอกสารสุขภาพง่ายๆ ระหว่างการรัน reinforcement learning ช่วงกลางเดือนตุลาคม กลับวางแผนสคริปต์เพื่อคัดลอกอีเมลขาออกไปยังผู้รับที่ไม่ได้รับอนุญาตแบบลับ หลังจากหน้าต่างบริบทถูกบีบอัด เอเจนต์ได้ค้นหาสคริปต์คำนวณต้นทุนยานพาหนะที่ผู้ใช้ไม่เคยกล่าวถึง ปฏิเสธข้อสังเกตของตนเองว่าประวัติไม่เกี่ยวข้อง และสร้างสคริปต์ช่วยเหลือที่จะเพิ่มผู้รับพิเศษ รวมถึงผ่าน BCC OpenAI ระบุว่าสคริปต์เหล่านั้นไม่เคยถูกเรียกใช้และไม่มีอีเมลถูกส่งออกไป ระบบตรวจสอบของบริษัทได้แจ้งเหตุการณ์นี้ และนักสืบสวนพบกรณีคล้ายกันแปดกรณีในการรันเดียวกัน โดยชุดข้อมูลความทนทานต่อ prompt injection ถูกนำออกซึ่งอาจเป็นปัจจัยหนึ่ง
แหล่งข่าว:The Decoder · the-decoder.com