跳到正文
热点事件持续更新

Vantage-V-AI v8.2.0 发布,采用 2 位三进制 KV 缓存

1 篇报道1 个报道来源23 小时前更新

先了解这件事

AI 综述

Nguyen Vo Anh Khoa 发布了 Vantage-V-AI v8.2.0,这是一个开源、MIT 许可的推理运行时,可将 KV 缓存的键和值压缩为 2 位三进制状态。该项目声称,与 FP16 相比,这可将 KV 缓存存储量减少 7.97 倍。 据发布说明,在配备 Qwen2.5-3B-Instruct 的 2 块 NVIDIA Tesla T4 GPU 上进行的测试中,该运行时的 FP8 流式模式在 64 个 token 中的 64 个上均与无损输出一致,并且注意力汇使 512 至 4,096 个 token 的上下文平均检索连贯性保持在 0.988。这些数字是作者的说法,尚未经过独立验证。 Vantage 专为在 CPU、边缘设备和多 GPU 加速器上进行有界内存生成而设计,并通过一行 `vantage.enable()` 调用与任何 Hugging Face AutoModelForCausalLM 集成,无需更改现有的生成循环或模型定义。

AI 根据报道生成 · 22 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月15日
  1. Hacker News · AI
    Show HN: Vantage-V-AI——带注意力汇的 2 比特三值 KV 缓存

    Nguyen Vo Anh Khoa 发布了 Vantage V-AI v8.2.0,这是一个开源的有界内存推理运行时,将 KV 缓存的键和值打包为 2 比特三值状态,声称相比 FP16 可实现 7.97 倍存储缩减。在配备 Qwen2.5-3B-Instruct 的 2 块 NVIDIA Tesla T4 GPU 上,其 FP8 流式模式在 64/64 个 token 上匹配无损输出,注意力汇在 512–4,096 token 上下文中将平均检索一致性保持在 0.988。它通过一行 `vantage.enable()` 调用与 Hugging Face AutoModelForCausalLM 集成,采用 MIT 许可证。

本事件热度走势

可比范围当前
5
可比范围峰值
1011月15日 19:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。