Hacker News · AI·· 16 giờ trướcĐiểm AI38
Show HN: Mô hình NCM — LLM ngốn bộ nhớ đã hết thời?
Show HN: New Model- NCM Model – Are Memory Hungry LLMs Dead
Tóm tắt bằng AI
Một bài đăng Show HN giới thiệu Next Concept Modeling (NCM), một kiến trúc do Stanford đề xuất tạo văn bản theo các lớp song song thay vì từng token một, rút ngắn phản hồi mà mô hình truyền thống cần 1.000 lượt chạy xuống còn 32 — tăng tốc thời gian chạy khoảng 30 lần. Thiết kế sử dụng nested dropout, conditioning corruption và test-time scaling với đồng thuận Minimum Bayes Risk (MBR) trên 20 ứng viên để hạn chế ảo giác. Nếu nó mở rộng được tới các mô hình nghìn tỷ tham số, AI cấp tiên phong có thể chạy trên phần cứng tiêu dùng.
Nguồn:Hacker News · AI · codedynasty.dev