OpenAI nghiên cứu các yếu tố ảnh hưởng đến khả năng giám sát CoT trong suốt vòng đời mô hình
Các nhà nghiên cứu OpenAI đã xem xét cách tiền huấn luyện, kiến trúc, học tăng cường và dữ liệu do mô hình tạo ra ảnh hưởng đến hai đại diện cho khả năng giám sát chuỗi suy nghĩ: năng lực không-CoT và khả năng kiểm soát CoT. Họ báo cáo rằng năng lực không-CoT theo dõi độ hỗn loạn (perplexity) của mô hình cơ sở thấp hơn một cách trơn tru, rằng khả năng kiểm soát CoT tăng lên trong quá trình RL ngay cả khi không có giám sát quy trình ngoài các ràng buộc về độ dài và chấm điểm câu trả lời cuối cùng, và rằng khả năng kiểm soát có thể được truyền sang mô hình học trò thông qua SFT trên các rollout của giáo viên. Các tác giả lưu ý rằng cả hai đại diện đều không hoàn hảo và các mô hình có thể trở nên khó giám sát hơn thông qua CoT của chúng khi năng lực mở rộng.
Vì sao đáng chú ý: Nghiên cứu vòng đời của OpenAI liên kết độ hỗn loạn tiền huấn luyện thấp hơn và mở rộng RL với khả năng giám sát CoT yếu hơn, đưa ra một khung cụ thể cho cách các lựa chọn huấn luyện định hình rủi ro giám sát.