Hacker News · AI·· 23 giờ trướcĐiểm AI36
Show HN: Vantage-V-AI – KV-cache ternary 2-bit với attention sinks
Show HN: Vantage-V-AI – 2-bit ternary KV-cache with attention sinks
Tóm tắt bằng AI
Nguyen Vo Anh Khoa đã phát hành Vantage V-AI v8.2.0, một runtime suy luận bộ nhớ giới hạn mã nguồn mở, nén khóa và giá trị của KV-cache thành trạng thái ternary 2-bit, tuyên bố giảm 7,97 lần dung lượng lưu trữ so với FP16. Trên 2 GPU NVIDIA Tesla T4 với Qwen2.5-3B-Instruct, chế độ streaming FP8 của nó khớp với đầu ra không mất mát ở 64/64 token, và attention sinks giữ độ mạch lạc truy xuất trung bình ở 0,988 trên các ngữ cảnh 512–4.096 token. Nó tích hợp với Hugging Face AutoModelForCausalLM thông qua một lệnh gọi `vantage.enable()` một dòng theo giấy phép MIT.
Nguồn:Hacker News · AI · github.com