Hacker News · AI·· 16 ชม. ที่แล้วคะแนน AI38
Show HN: NCM Model — LLM ที่กินหน่วยความจำสูงตายแล้วหรือ?
Show HN: New Model- NCM Model – Are Memory Hungry LLMs Dead
สรุปโดย AI
โพสต์ Show HN กล่าวถึง Next Concept Modeling (NCM) สถาปัตยกรรมที่ Stanford เสนอ ซึ่งสร้างข้อความแบบขนานเป็นชั้นๆ แทนที่จะสร้างทีละโทเคน ลดการตอบสนองที่โมเดลทั่วไปต้องใช้ 1,000 รอบเหลือเพียง 32 รอบ เพิ่มความเร็วในการรันราว 30 เท่า การออกแบบใช้ nested dropout, conditioning corruption และ test-time scaling ด้วย Minimum Bayes Risk (MBR) consensus จาก 20 ตัวเลือกเพื่อลด hallucination หากขยายไปถึงโมเดลระดับล้านล้านพารามิเตอร์ได้ AI ระดับแนวหน้าอาจรันบนฮาร์ดแวร์สำหรับผู้บริโภคได้
แหล่งข่าว:Hacker News · AI · codedynasty.dev