OpenAI đề xuất các chỉ số pair-matched và post-control để mở rộng khả năng giám sát của g-mean²

Blog Alignment của OpenAI bổ sung hai chỉ số vào g-mean², thước đo cấp độ tập dữ liệu về khả năng phân biệt của monitor. Chỉ số pair-matched chỉ so sánh các mô hình trên những trường hợp tác vụ hỗ trợ phép so sánh dương, âm hoặc hợp lệ can thiệp liên quan, trong khi chỉ số tích hợp post-control mô phỏng việc từ chối có cổng kiểm soát bởi monitor và ước tính xác suất hệ thống triển khai vẫn phát ra đầu ra xấu. Bài viết cũng suy ra một cận dưới bi quan cho các đánh giá can thiệp.