ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงจับตาดู

Goodfire Research พบกลุ่มเซลล์ประสาทในโมเดลภาษา

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 วันที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Goodfire Research รายงานว่ากลุ่มเซลล์ประสาทขนาดเล็ก ซึ่งมักมีไม่ถึงสิบเซลล์ เป็นผู้ดำเนินการพฤติกรรมทั่วไปของโมเดลภาษา เช่น ความสอดคล้องทางไวยากรณ์ การคัดลอก และการคำนวณ กลุ่มวิจัยใช้การระบุแหล่งที่มาแบบอิงเกรเดียนต์กับพรอมต์หลายล้านรายการ จากนั้นสร้างกราฟและใช้การตรวจจับชุมชนโดยไม่มีการกำกับดูแล ทีมรันวิธีนี้บน Llama-3.1-8B ด้วยพรอมต์ 10M รายการจาก FineWeb-Edu, English Wikipedia และ FineMath และจำลองซ้ำบน Qwen 3.6 35B-A3B ในภายหลัง การตัดกลุ่มเซลล์ประสาทออก (ablation) เปลี่ยนแปลงการทำนายของโมเดล ขณะที่การคงกลุ่มไว้ทำให้การทำนายส่วนใหญ่ยังคงอยู่ แม้จะลบเซลล์ประสาท MLP อื่นในเลเยอร์เหล่านั้นออกแล้วก็ตาม Goodfire ระบุว่าข้อกล่าวอ้างเรื่องความเพียงพอจำกัดอยู่ที่หกเลเยอร์ที่มีเซลล์ประสาทในกลุ่ม และคำอธิบายยังคงไม่สมบูรณ์ การทำนายจำนวนมากยังไม่ได้รับการอธิบาย และการระบุกลุ่มที่จำเป็นและเพียงพอไม่ได้แสดงให้เห็นว่าเซลล์ประสาทในกลุ่มคำนวณหรือโต้ตอบกับส่วนอื่นของโมเดลอย่างไร

สร้างจากรายงาน · อัปเดต 6 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

17 พฤศจิกายน
  1. Goodfire Research
    Goodfire Research ค้นพบชุมชนเซลล์ประสาทในโมเดลภาษา

    Goodfire Research ระบุ "ชุมชนเซลล์ประสาท" (neuron communities) ซึ่งเป็นกลุ่มเล็กๆ ที่มักมีเซลล์ประสาทน้อยกว่าสิบเซลล์ ทำหน้าที่รองรับพฤติกรรมทั่วไปของโมเดล เช่น ความสอดคล้องทางไวยากรณ์ การคัดลอก และการคำนวณ วิธีการแบบไม่มีผู้สอนนี้ใช้การระบุที่มาที่อิงเกรเดียนต์ครอบคลุมพรอมต์หลายล้านรายการ การสร้างกราฟ และการตรวจจับชุมชน ถูกทดลองกับ Llama-3.1-8B และทำซ้ำบน Qwen 3.6 35B-A3B การตัดชุมชนออก (ablation) ทำให้การทำนายเปลี่ยนไป ขณะที่การคงชุมชนไว้จะรักษาการทำนายไว้ได้เป็นส่วนใหญ่ แม้จะลบเซลล์ประสาท MLP อื่นๆ ในเลเยอร์เหล่านั้นออกแล้วก็ตาม

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
4
จุดสูงสุดในช่วงที่เทียบได้
518 พฤศจิกายน 03:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู