Stanford SNAP เผยแพร่ Memorilla โมดูลความจำแบบโอเพนซอร์สสำหรับ LLM ที่ถูกแช่แข็ง
เริ่มตรงนี้
นักวิจัยจาก Stanford SNAP Group ได้เผยแพร่ Memorilla โมดูลความจำที่ฝึกได้ขนาด 194M พารามิเตอร์ ซึ่งบีบอัดคอลเลกชันเอกสารให้เหลือ 16 โทเคนความจำสำหรับ Qwen3-8B ที่ถูกแช่แข็ง โค้ด สูตรการฝึก และเช็กพอยต์เปิดเผยต่อสาธารณะภายใต้ Apache 2.0 โดย quickstart ต้องใช้ GPU 80 GB หนึ่งตัว และการรันครั้งแรกจะดาวน์โหลดโมเดลประมาณ 25 GB บน FactKG โมดูลทำคะแนนได้ 84.33% เทียบกับ 80.43% ของการพรอมป์ด้วยบริบทเต็ม ขณะที่ใช้โทเคนเอกสารน้อยกว่า 108 เท่า และได้ค่าเฉลี่ยสูงสุดที่มีรายงานที่ 49.68 จาก 8 เบนช์มาร์ก โดยตามหลัง LLMLingua-2 บน PubMedQA (59.00% เทียบกับ 69.00%) ซึ่งบทคัดย่อมีเพียง 324 โทเคน สูตรการฝึกเต็มใช้เวลาประมาณ 19 ชั่วโมงบน GPU H100 จำนวน 4 ตัว ทีมยังได้เผยแพร่ PersonalizationV4 ชุดข้อมูลผู้ใช้สังเคราะห์ 149 คน โดยแต่ละคนมีบทสนทนา 200 รายการ ภายใต้ CC BY 4.0
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- MarkTechPostStanford SNAP Group เปิดซอร์ส Memorilla โมดูลความจำแฝง 16 โทเคนสำหรับ LLM ที่ถูกแช่แข็ง
นักวิจัยจาก Stanford เปิดซอร์ส Memorilla โมดูลความจำที่ฝึกได้ขนาด 194M พารามิเตอร์ ซึ่งบีบอัดคอลเลกชันเอกสารทั้งหมดให้เหลือ 16 โทเคนความจำสำหรับ Qwen3-8B ที่ถูกแช่แข็ง พร้อมโค้ดและเช็กพอยต์ภายใต้ Apache 2.0 บน FactKG ทำได้ 84.33% เทียบกับ 80.43% ของการพรอมป์ด้วยบริบทเต็ม ขณะที่ใช้โทเคนเอกสารน้อยกว่า 108 เท่า และได้ค่าเฉลี่ยสูงสุดที่รายงานไว้ 49.68 จาก 8 เบนช์มาร์ก แต่แพ้บน PubMedQA (59.00% เทียบกับ 69.00% ของ LLMLingua-2) ซึ่งบทคัดย่อมีรวมเพียง 324 โทเคน และสูตรการฝึกเต็มใช้เวลาประมาณ 19 ชั่วโมงบน GPU H100 จำนวน 4 ตัว
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม