跳至正文
Hacker News · AI·· 23 小時前AI 評分36

Show HN: Vantage-V-AI — 具備注意力匯的 2 位元三值 KV 快取

Show HN: Vantage-V-AI – 2-bit ternary KV-cache with attention sinks

AI 導讀

Nguyen Vo Anh Khoa 發布 Vantage V-AI v8.2.0,這是一套開源的有界記憶體推論執行環境,將 KV 快取的鍵與值壓縮為 2 位元三值狀態,宣稱相較 FP16 可減少 7.97 倍儲存空間。在搭載 Qwen2.5-3B-Instruct 的 2 張 NVIDIA Tesla T4 GPU 上,其 FP8 串流模式在 64/64 個 token 上達到與無損輸出相符的結果,而注意力匯在 512–4,096 token 的上下文中,將平均檢索連貫性維持在 0.988。它透過一行 `vantage.enable()` 呼叫與 Hugging Face AutoModelForCausalLM 整合,採用 MIT 授權。

來源:Hacker News · AI · github.com