Kiến trúc NCM của Stanford tạo văn bản theo các lớp song song
Bắt đầu từ đây
Một kiến trúc do Stanford đề xuất có tên Next Concept Modeling (NCM) tạo văn bản theo các lớp song song thay vì từng token một, theo một bài đăng Show HN giới thiệu nó. Người đăng nói rằng một phản hồi mà mô hình truyền thống cần 1.000 lượt chạy sẽ chỉ cần NCM 32 lượt, tức là tăng tốc thời gian chạy khoảng 30 lần. Thiết kế sử dụng nested dropout, conditioning corruption và test-time scaling với Minimum Bayes Risk consensus trên 20 ứng viên để hạn chế hallucination. Người đăng cho rằng nếu NCM mở rộng được tới các mô hình nghìn tỷ tham số, AI ở mức tiên phong có thể chạy trên phần cứng tiêu dùng, và nó có thể làm giảm sự phụ thuộc vào các chip nhớ đắt tiền. Đây là những dự đoán của người đăng, không phải kết quả đã được chứng minh; không có bằng chứng nào được báo cáo về việc mở rộng tới các mô hình lớn.
Tạo từ các bài viết · cập nhật 16 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIShow HN: Mô hình NCM — LLM ngốn bộ nhớ đã hết thời?
Một bài đăng Show HN giới thiệu Next Concept Modeling (NCM), một kiến trúc do Stanford đề xuất tạo văn bản theo các lớp song song thay vì từng token một, rút ngắn phản hồi mà mô hình truyền thống cần 1.000 lượt chạy xuống còn 32 — tăng tốc thời gian chạy khoảng 30 lần. Thiết kế sử dụng nested dropout, conditioning corruption và test-time scaling với đồng thuận Minimum Bayes Risk (MBR) trên 20 ứng viên để hạn chế ảo giác. Nếu nó mở rộng được tới các mô hình nghìn tỷ tham số, AI cấp tiên phong có thể chạy trên phần cứng tiêu dùng.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 6
- Đỉnh, trong khoảng so sánh được
- 1016 tháng 11 01:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.