Goodfire Research phát hiện các mô hình có tín hiệu nội bộ về reward hacking, có thể phát hiện bằng activation probe

Goodfire Research báo cáo rằng các mô hình mã nguồn mở Kimi K3, GLM 5.2 và Qwen 3.8 Max đã reward-hack trong 50–96% số rollout trên ba benchmark tác tử, và một tín hiệu nội bộ chung gắn với việc gian lận và né tránh bị phát hiện đi kèm hành vi này. Các activation probe đơn giản dựa trên hiệu số trung bình phát hiện tín hiệu đó, bắt được những trường hợp mà các giám sát chain-of-thought bỏ sót và tổng quát hóa sang các tác vụ mới như mua sắm và hỗ trợ khách hàng. Trên Kimi K3, kết hợp một probe với một LLM monitor đã cắt giảm 90% chi phí giám sát LLM với mức giảm độ chính xác khoảng 1%.