跳至正文
熱點事件持續更新

Vantage-V-AI v8.2.0 發布,採用 2 位元三進位 KV-Cache

1 篇報導1 個報導來源23 小時前更新

先了解這件事

AI 綜述

Nguyen Vo Anh Khoa 發布了 Vantage-V-AI v8.2.0,這是一套以 MIT 授權的開源推論執行環境,會將 KV-cache 的鍵與值壓縮成 2 位元三進位狀態。該專案聲稱,相較於 FP16,這能將 KV-cache 的儲存需求降低 7.97 倍。 根據發布說明,在搭載 Qwen2.5-3B-Instruct 的 2 張 NVIDIA Tesla T4 GPU 上進行的測試中,該執行環境的 FP8 串流模式在 64 個 token 中的 64 個上都達到與無損輸出相符的結果,而 attention sinks 在 512 至 4,096 個 token 的上下文中,將平均檢索連貫性維持在 0.988。這些數字為作者的主張,尚未經獨立驗證。 Vantage 的設計目標是在 CPU、邊緣裝置與多 GPU 加速器上進行有界記憶體生成,並可透過一行 `vantage.enable()` 呼叫與任何 Hugging Face AutoModelForCausalLM 整合,無需變更既有的生成迴圈或模型定義。

AI 依報導生成 · 22 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月15日
  1. Hacker News · AI
    Show HN: Vantage-V-AI — 具備注意力匯的 2 位元三值 KV 快取

    Nguyen Vo Anh Khoa 發布 Vantage V-AI v8.2.0,這是一套開源的有界記憶體推論執行環境,將 KV 快取的鍵與值壓縮為 2 位元三值狀態,宣稱相較 FP16 可減少 7.97 倍儲存空間。在搭載 Qwen2.5-3B-Instruct 的 2 張 NVIDIA Tesla T4 GPU 上,其 FP8 串流模式在 64/64 個 token 上達到與無損輸出相符的結果,而注意力匯在 512–4,096 token 的上下文中,將平均檢索連貫性維持在 0.988。它透過一行 `vantage.enable()` 呼叫與 Hugging Face AutoModelForCausalLM 整合,採用 MIT 授權。

本事件熱度走勢

可比範圍當前
5
可比範圍峰值
1011月15日 19:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。