Goodfire Research·· 1 วันที่แล้วคะแนน AI38
Goodfire Research ค้นพบชุมชนเซลล์ประสาทในโมเดลภาษา
Discovering Neuron Communities in Language Models
สรุปโดย AI
Goodfire Research ระบุ "ชุมชนเซลล์ประสาท" (neuron communities) ซึ่งเป็นกลุ่มเล็กๆ ที่มักมีเซลล์ประสาทน้อยกว่าสิบเซลล์ ทำหน้าที่รองรับพฤติกรรมทั่วไปของโมเดล เช่น ความสอดคล้องทางไวยากรณ์ การคัดลอก และการคำนวณ วิธีการแบบไม่มีผู้สอนนี้ใช้การระบุที่มาที่อิงเกรเดียนต์ครอบคลุมพรอมต์หลายล้านรายการ การสร้างกราฟ และการตรวจจับชุมชน ถูกทดลองกับ Llama-3.1-8B และทำซ้ำบน Qwen 3.6 35B-A3B การตัดชุมชนออก (ablation) ทำให้การทำนายเปลี่ยนไป ขณะที่การคงชุมชนไว้จะรักษาการทำนายไว้ได้เป็นส่วนใหญ่ แม้จะลบเซลล์ประสาท MLP อื่นๆ ในเลเยอร์เหล่านั้นออกแล้วก็ตาม
แหล่งข่าว:Goodfire Research · goodfire.com