ข้ามไปที่เนื้อหา
Hacker News · AI·· 23 ชม. ที่แล้วคะแนน AI36

Show HN: Vantage-V-AI – KV-cache แบบ ternary 2-bit พร้อม attention sinks

Show HN: Vantage-V-AI – 2-bit ternary KV-cache with attention sinks

สรุปโดย AI

Nguyen Vo Anh Khoa เปิดตัว Vantage V-AI v8.2.0 ซึ่งเป็นรันไทม์การอนุมานแบบ bounded-memory โอเพนซอร์สที่บีบอัดคีย์และค่าของ KV-cache ให้เป็นสถานะ ternary 2-bit โดยอ้างว่าลดพื้นที่จัดเก็บได้ 7.97 เท่าเมื่อเทียบกับ FP16 บน GPU NVIDIA Tesla T4 จำนวน 2 ตัวกับ Qwen2.5-3B-Instruct โหมดสตรีมมิ่ง FP8 ให้ผลลัพธ์ตรงกับแบบ lossless ที่ 64/64 โทเคน และ attention sinks รักษาความสอดคล้องของการดึงข้อมูลเฉลี่ยไว้ที่ 0.988 ในบริบท 512–4,096 โทเคน ใช้งานร่วมกับ Hugging Face AutoModelForCausalLM ได้ผ่านการเรียก `vantage.enable()` เพียงบรรทัดเดียวภายใต้ MIT License

แหล่งข่าว:Hacker News · AI · github.com