OpenAI uses automated red teaming to train GPT-6 jailbreak resistance
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
OpenAI researchers report that automated red teaming, in which a GPT-5.6 Sol reasoning model attacked GPT-5.4 and GPT-5.5 defenders, produced synthetic jailbreaks that were then used as reinforcement-learning training data for GPT-6 Astra and Sol. The aim was to make the models resist jailbreaks in high-stakes domains such as cyber, biology and violent activity. On fixed jailbreaks drawn from earlier attacks against GPT-5.4 and GPT-5.5, GPT-6 Astra answered 91.5% of cyber-related prompts safely, compared with 59% for GPT-5.6 Sol, and it stayed more robust across all attacker budgets in an adaptive multiturn evaluation. OpenAI says the robustness training did not increase refusals of benign tasks, citing a Pareto improvement on safety and helpfulness in the GPT-6 Astra system card. OpenAI notes that in deployment, model safety training is only one layer of a broader safeguards system.
สร้างจากรายงาน · อัปเดต 13 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- OpenAI Alignment BlogOpenAI ใช้ automated red teaming เพื่อปรับปรุง fuzzy robustness ใน GPT-6 Astra และ Sol
นักวิจัยของ OpenAI อธิบายว่า automated red-teaming ซึ่งใช้โมเดลการให้เหตุผลตระกูล GPT-5.6 Sol เป็นฝ่ายโจมตีต่อฝ่ายป้องกัน GPT-5.4 และ GPT-5.5 ได้สร้าง synthetic jailbreaks ที่ถูกนำไปใช้เป็นข้อมูลฝึก RL สำหรับ GPT-6 Astra และ Sol บน fixed jailbreaks จากการโจมตีก่อนหน้าต่อ GPT-5.4 และ 5.5 นั้น GPT-6 Astra ตอบอย่างปลอดภัย 91.5% ในหมวด cyber เทียบกับ 59% ของ GPT-5.6 Sol และยังคงทนทานกว่าในทุก attacker budgets ในการประเมินแบบ adaptive multiturn OpenAI รายงานว่าการฝึก robustness ไม่ได้เพิ่มการปฏิเสธงานที่เป็นประโยชน์ โดยอ้างถึงการปรับปรุงแบบ Pareto ด้านความปลอดภัยและความเป็นประโยชน์ใน system card ของ GPT-6 Astra
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม