Các nhà nghiên cứu của Apple rút ra giới hạn lý thuyết của căn chỉnh mô hình ngôn ngữ có điều chuẩn KL
Bắt đầu từ đây
Các nhà nghiên cứu tại Apple Machine Learning Research đã rút ra giới hạn lý thuyết thông tin của căn chỉnh mô hình ngôn ngữ có điều chuẩn KL, đưa ra một biểu thức dạng đóng cho mức tăng phần thưởng kỳ vọng tối đa có thể đạt được dưới một ngân sách KL cố định. Họ báo cáo rằng giới hạn này được chi phối bởi một số hạng phân kỳ Jeffreys thay vì tỷ lệ √KL được dùng trong các phân tích trước đây. Công trình cũng mô tả đặc điểm của reward hacking: khoảng cách giữa căn chỉnh lý tưởng và căn chỉnh đại diện tăng lên theo sai số phần thưởng và theo việc thu nhỏ hình phạt KL, và các tác giả chứng minh rằng việc kết hợp nhiều phần thưởng (reward ensembling) giúp giảm thiểu điều này. Trên các tác vụ an toàn và tóm tắt, họ nhận thấy best-of-N tiến sát giới hạn lý thuyết, trong khi PPO và GRPO vẫn còn kém tối ưu đáng kể.
Tạo từ các bài viết · cập nhật 14 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Apple Machine Learning ResearchGiới hạn lý thuyết của căn chỉnh mô hình ngôn ngữ
Các nhà nghiên cứu từ Apple Machine Learning Research suy ra các giới hạn lý thuyết thông tin của căn chỉnh mô hình ngôn ngữ chính quy hóa KL, đưa ra biểu thức dạng đóng cho mức tăng phần thưởng kỳ vọng tối đa dưới ngân sách KL cố định, được chi phối bởi số hạng phân kỳ Jeffreys thay vì √KL được dùng trong các phân tích trước đây. Họ chỉ ra rằng khoảng cách giữa căn chỉnh lý tưởng và căn chỉnh đại diện (reward hacking) tăng lên khi sai số phần thưởng tăng và hình phạt KL thu hẹp, và chứng minh rằng việc kết hợp phần thưởng giúp giảm thiểu điều này. Trên các tác vụ an toàn và tóm tắt, best-of-N tiến sát giới hạn lý thuyết trong khi PPO và GRPO vẫn còn kém tối ưu đáng kể.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.