Hacker News · AI·· 23 小时前AI 评分36
Show HN: Vantage-V-AI——带注意力汇的 2 比特三值 KV 缓存
Show HN: Vantage-V-AI – 2-bit ternary KV-cache with attention sinks
AI 导读
Nguyen Vo Anh Khoa 发布了 Vantage V-AI v8.2.0,这是一个开源的有界内存推理运行时,将 KV 缓存的键和值打包为 2 比特三值状态,声称相比 FP16 可实现 7.97 倍存储缩减。在配备 Qwen2.5-3B-Instruct 的 2 块 NVIDIA Tesla T4 GPU 上,其 FP8 流式模式在 64/64 个 token 上匹配无损输出,注意力汇在 512–4,096 token 上下文中将平均检索一致性保持在 0.988。它通过一行 `vantage.enable()` 调用与 Hugging Face AutoModelForCausalLM 集成,采用 MIT 许可证。
来源:Hacker News · AI · github.com