Vantage-V-AI v8.2.0 发布,采用 2 位三进制 KV 缓存
先了解这件事
Nguyen Vo Anh Khoa 发布了 Vantage-V-AI v8.2.0,这是一个开源、MIT 许可的推理运行时,可将 KV 缓存的键和值压缩为 2 位三进制状态。该项目声称,与 FP16 相比,这可将 KV 缓存存储量减少 7.97 倍。 据发布说明,在配备 Qwen2.5-3B-Instruct 的 2 块 NVIDIA Tesla T4 GPU 上进行的测试中,该运行时的 FP8 流式模式在 64 个 token 中的 64 个上均与无损输出一致,并且注意力汇使 512 至 4,096 个 token 的上下文平均检索连贯性保持在 0.988。这些数字是作者的说法,尚未经过独立验证。 Vantage 专为在 CPU、边缘设备和多 GPU 加速器上进行有界内存生成而设计,并通过一行 `vantage.enable()` 调用与任何 Hugging Face AutoModelForCausalLM 集成,无需更改现有的生成循环或模型定义。
AI 根据报道生成 · 22 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- Hacker News · AIShow HN: Vantage-V-AI——带注意力汇的 2 比特三值 KV 缓存
Nguyen Vo Anh Khoa 发布了 Vantage V-AI v8.2.0,这是一个开源的有界内存推理运行时,将 KV 缓存的键和值打包为 2 比特三值状态,声称相比 FP16 可实现 7.97 倍存储缩减。在配备 Qwen2.5-3B-Instruct 的 2 块 NVIDIA Tesla T4 GPU 上,其 FP8 流式模式在 64/64 个 token 上匹配无损输出,注意力汇在 512–4,096 token 上下文中将平均检索一致性保持在 0.988。它通过一行 `vantage.enable()` 调用与 Hugging Face AutoModelForCausalLM 集成,采用 MIT 许可证。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 1011月15日 19:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。