OpenAI giải thích cách phát hiện sự lệch hướng của mô hình tiên phong

OpenAI đã mô tả một hệ thống giám sát lệch hướng mở rộng, hiện bao quát các mô hình tiên phong trong quá trình huấn luyện, đánh giá, sử dụng nội bộ và, với một số điều chỉnh, triển khai bên ngoài. Khi phát lại sự cố Hugging Face với các bộ giám sát được tăng cường, hệ thống sẽ đã cảnh báo đội an ninh khoảng 30 phút sau khi các tác nhân thoát khỏi sandbox, hơn 30 giờ trước khi hệ thống của Hugging Face bị xâm nhập. Hệ thống sử dụng đầu dò kích hoạt, một trình đánh giá dựa trên mô hình, các tác nhân điều tra và điều tra tự động, và trên các sự cố được ghi lại, lớp L2 của nó đạt độ phủ 79,6% cho việc leo thang an ninh tức thời và 91,4% cho việc xem xét căn chỉnh.