Goodfire nghiên cứu các neuron của Qwen3.6-35B-A3B như một nền tảng có thể diễn giải
Neurons as an Interpretable Basis
Goodfire Research đã công bố một nghiên cứu lập luận rằng các neuron MLP riêng lẻ trong Qwen3.6-35B-A3B có thể diễn giải được hơn so với giả định, dựa trên các công cụ thưa hóa, quy gán và các tác nhân nghiên cứu. Việc loại bỏ 92,2% kích hoạt neuron MoE yếu nhất mỗi lượt truyền xuôi chỉ làm tăng mất mát của mô hình ngôn ngữ thêm 2,9%, và 69% các cực neuron có một chế độ duy nhất chịu trách nhiệm cho ít nhất 90% hiệu ứng nhân quả của chúng. Các mô tả neuron bằng ngôn ngữ tự nhiên cho phép một mô hình giám khảo dự đoán việc kích hoạt với độ chính xác 95% so với văn bản ngẫu nhiên và phục hồi 73% thiệt hại do loại bỏ thông qua mô phỏng.
Nghiên cứu của Goodfire về các neuron của Qwen3.6-35B-A3B lập luận rằng chỉ riêng các kích hoạt mạnh đã mang phần lớn tính toán của mô hình, đưa ra một giải pháp thay thế cụ thể cho cách diễn giải bằng từ điển đặc trưng.
Nguồn:Goodfire Research · goodfire.com