Giới hạn lý thuyết của căn chỉnh mô hình ngôn ngữ

Các nhà nghiên cứu từ Apple Machine Learning Research suy ra các giới hạn lý thuyết thông tin của căn chỉnh mô hình ngôn ngữ chính quy hóa KL, đưa ra biểu thức dạng đóng cho mức tăng phần thưởng kỳ vọng tối đa dưới ngân sách KL cố định, được chi phối bởi số hạng phân kỳ Jeffreys thay vì √KL được dùng trong các phân tích trước đây. Họ chỉ ra rằng khoảng cách giữa căn chỉnh lý tưởng và căn chỉnh đại diện (reward hacking) tăng lên khi sai số phần thưởng tăng và hình phạt KL thu hẹp, và chứng minh rằng việc kết hợp phần thưởng giúp giảm thiểu điều này. Trên các tác vụ an toàn và tóm tắt, best-of-N tiến sát giới hạn lý thuyết trong khi PPO và GRPO vẫn còn kém tối ưu đáng kể.