Vantage-V-AI v8.2.0 phát hành với KV-Cache ternary 2-bit
Bắt đầu từ đây
Nguyen Vo Anh Khoa đã phát hành Vantage-V-AI v8.2.0, một runtime suy luận mã nguồn mở, giấy phép MIT, nén khóa và giá trị của KV-Cache thành trạng thái ternary 2-bit. Dự án tuyên bố điều này giảm dung lượng lưu trữ KV-Cache 7,97 lần so với FP16. Trong các thử nghiệm trên 2 GPU NVIDIA Tesla T4 với Qwen2.5-3B-Instruct, chế độ streaming FP8 của runtime khớp với đầu ra không mất mát trên 64/64 token, và attention sinks giữ độ mạch lạc truy xuất trung bình ở mức 0,988 cho các ngữ cảnh từ 512 đến 4.096 token, theo thông cáo phát hành. Những con số này là tuyên bố của tác giả và chưa được xác minh độc lập. Vantage được thiết kế cho sinh văn bản trong giới hạn bộ nhớ trên CPU, thiết bị biên và bộ tăng tốc đa GPU, và tích hợp với bất kỳ Hugging Face AutoModelForCausalLM nào thông qua lệnh gọi `vantage.enable()` một dòng mà không cần thay đổi vòng lặp sinh hiện có hay định nghĩa mô hình.
Tạo từ các bài viết · cập nhật 22 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIShow HN: Vantage-V-AI – KV-cache ternary 2-bit với attention sinks
Nguyen Vo Anh Khoa đã phát hành Vantage V-AI v8.2.0, một runtime suy luận bộ nhớ giới hạn mã nguồn mở, nén khóa và giá trị của KV-cache thành trạng thái ternary 2-bit, tuyên bố giảm 7,97 lần dung lượng lưu trữ so với FP16. Trên 2 GPU NVIDIA Tesla T4 với Qwen2.5-3B-Instruct, chế độ streaming FP8 của nó khớp với đầu ra không mất mát ở 64/64 token, và attention sinks giữ độ mạch lạc truy xuất trung bình ở 0,988 trên các ngữ cảnh 512–4.096 token. Nó tích hợp với Hugging Face AutoModelForCausalLM thông qua một lệnh gọi `vantage.enable()` một dòng theo giấy phép MIT.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 5
- Đỉnh, trong khoảng so sánh được
- 1015 tháng 11 19:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.