ขีดจำกัดทางทฤษฎีของการจัดแนวภาษาโมเดล

นักวิจัยจาก Apple Machine Learning Research ได้อนุมานขีดจำกัดทางทฤษฎีสารสนเทศของการจัดแนวภาษาโมเดลแบบ KL-regularized โดยให้สูตรปิดสำหรับการเพิ่มรางวัลคาดหวังสูงสุดภายใต้งบประมาณ KL คงที่ ซึ่งถูกควบคุมโดยเทอม Jeffreys divergence แทนที่จะเป็น √KL ที่ใช้ในการวิเคราะห์ก่อนหน้า พวกเขาแสดงให้เห็นว่าช่องว่างระหว่างการจัดแนวอุดมคติและการจัดแนวแบบพร็อกซี (reward hacking) เพิ่มขึ้นตามข้อผิดพลาดของรางวัลและการลดลงของบทลงโทษ KL และพิสูจน์ว่าการรวมรางวัล (reward ensembling) ช่วยบรรเทาปัญหานี้ ในงานด้านความปลอดภัยและการสรุปความ best-of-N เข้าใกล้ขีดจำกัดทางทฤษฎีอย่างใกล้ชิด ในขณะที่ PPO และ GRPO ยังคงต่ำกว่าค่าที่เหมาะสมที่สุดอย่างมีนัยสำคัญ