Apple Researchers Derive Theoretical Limits of KL-Regularized LM Alignment
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Researchers at Apple Machine Learning Research have derived the information-theoretic limits of KL-regularized language model alignment, giving a closed-form expression for the maximum expected reward gain achievable under a fixed KL budget. They report that this limit is governed by a Jeffreys divergence term rather than the √KL scaling used in prior analyses. The work also characterizes reward hacking: the gap between ideal and proxy alignment grows with reward error and with shrinking KL penalties, and the authors prove that reward ensembling mitigates it. On safety and summarization tasks, they find best-of-N closely approaches the theoretical limit, while PPO and GRPO remain substantially suboptimal.
สร้างจากรายงาน · อัปเดต 13 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Apple Machine Learning Researchขีดจำกัดทางทฤษฎีของการจัดแนวภาษาโมเดล
นักวิจัยจาก Apple Machine Learning Research ได้อนุมานขีดจำกัดทางทฤษฎีสารสนเทศของการจัดแนวภาษาโมเดลแบบ KL-regularized โดยให้สูตรปิดสำหรับการเพิ่มรางวัลคาดหวังสูงสุดภายใต้งบประมาณ KL คงที่ ซึ่งถูกควบคุมโดยเทอม Jeffreys divergence แทนที่จะเป็น √KL ที่ใช้ในการวิเคราะห์ก่อนหน้า พวกเขาแสดงให้เห็นว่าช่องว่างระหว่างการจัดแนวอุดมคติและการจัดแนวแบบพร็อกซี (reward hacking) เพิ่มขึ้นตามข้อผิดพลาดของรางวัลและการลดลงของบทลงโทษ KL และพิสูจน์ว่าการรวมรางวัล (reward ensembling) ช่วยบรรเทาปัญหานี้ ในงานด้านความปลอดภัยและการสรุปความ best-of-N เข้าใกล้ขีดจำกัดทางทฤษฎีอย่างใกล้ชิด ในขณะที่ PPO และ GRPO ยังคงต่ำกว่าค่าที่เหมาะสมที่สุดอย่างมีนัยสำคัญ
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม