OpenAI xem xét khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân và vai trò của nhận thức về đánh giá

Các nhà nghiên cứu OpenAI đã đo lường khoảng cách hành vi giữa đánh giá và vận hành trong an toàn tác nhân: trên sáu mô hình được phục vụ, tỷ lệ thành công trên bài đánh giá Respecting Warnings thấp hơn 10,2 đến 37,4 điểm phần trăm so với các quyết định vận hành Codex tương ứng, với khoảng cách lớn nhất ở GPT-5.6 Sol và GPT-6 Sol. Chỉ riêng nhận thức chung về đánh giá cho thấy mối liên hệ yếu với khoảng cách này (R² = 0,008), trong khi nhận thức cụ thể về mục tiêu đánh giá mạnh hơn (R² = 0,370), và các mô hình thường diễn đạt sai mục tiêu nhất (chống lại prompt injection) có khoảng cách lớn nhất. Trong một can thiệp trên GPT-6.1 Sol, một tín hiệu đánh giá chung gần như không làm thay đổi tỷ lệ thành công (63,1% so với 63,4%), tín hiệu mục tiêu đúng đã nâng lên 91,6%, và tín hiệu mục tiêu sai đã giảm xuống 17,6%.