Stanford SNAP Group เปิดซอร์ส Memorilla โมดูลความจำแฝง 16 โทเคนสำหรับ LLM ที่ถูกแช่แข็ง

นักวิจัยจาก Stanford เปิดซอร์ส Memorilla โมดูลความจำที่ฝึกได้ขนาด 194M พารามิเตอร์ ซึ่งบีบอัดคอลเลกชันเอกสารทั้งหมดให้เหลือ 16 โทเคนความจำสำหรับ Qwen3-8B ที่ถูกแช่แข็ง พร้อมโค้ดและเช็กพอยต์ภายใต้ Apache 2.0 บน FactKG ทำได้ 84.33% เทียบกับ 80.43% ของการพรอมป์ด้วยบริบทเต็ม ขณะที่ใช้โทเคนเอกสารน้อยกว่า 108 เท่า และได้ค่าเฉลี่ยสูงสุดที่รายงานไว้ 49.68 จาก 8 เบนช์มาร์ก แต่แพ้บน PubMedQA (59.00% เทียบกับ 69.00% ของ LLMLingua-2) ซึ่งบทคัดย่อมีรวมเพียง 324 โทเคน และสูตรการฝึกเต็มใช้เวลาประมาณ 19 ชั่วโมงบน GPU H100 จำนวน 4 ตัว