Vantage-V-AI v8.2.0 เปิดตัวพร้อม KV-Cache แบบ Ternary 2 บิต
เริ่มตรงนี้
Nguyen Vo Anh Khoa เปิดตัว Vantage-V-AI v8.2.0 ซึ่งเป็นรันไทม์สำหรับการอนุมานแบบโอเพนซอร์สภายใต้สัญญาอนุญาต MIT ที่บีบอัดคีย์และค่าของ KV-cache ให้อยู่ในสถานะ ternary 2 บิต โครงการอ้างว่าวิธีนี้ช่วยลดพื้นที่จัดเก็บ KV-cache ได้ 7.97 เท่าเมื่อเทียบกับ FP16 ในการทดสอบบน GPU NVIDIA Tesla T4 จำนวน 2 ตัวกับ Qwen2.5-3B-Instruct โหมดสตรีมมิ่ง FP8 ของรันไทม์ให้ผลลัพธ์ที่ตรงกับเอาต์พุตแบบไม่สูญเสียข้อมูลครบทั้ง 64 จาก 64 โทเคน และ attention sinks รักษาความสอดคล้องของการดึงข้อมูลโดยเฉลี่ยไว้ที่ 0.988 สำหรับบริบทขนาด 512 ถึง 4,096 โทเคน ตามประกาศเปิดตัว ตัวเลขเหล่านี้เป็นคำกล่าวอ้างของผู้เขียนและยังไม่ได้รับการตรวจสอบอย่างอิสระ Vantage ถูกออกแบบมาสำหรับการสร้างข้อความภายใต้หน่วยความจำจำกัดบน CPU อุปกรณ์เอดจ์ และตัวเร่งความเร็วแบบหลาย GPU และสามารถผสานรวมกับ Hugging Face AutoModelForCausalLM ใดก็ได้ผ่านการเรียก `vantage.enable()` เพียงบรรทัดเดียว โดยไม่ต้องเปลี่ยนแปลงลูปการสร้างข้อความหรือนิยามโมเดลที่มีอยู่
สร้างจากรายงาน · อัปเดต 22 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIShow HN: Vantage-V-AI – KV-cache แบบ ternary 2-bit พร้อม attention sinks
Nguyen Vo Anh Khoa เปิดตัว Vantage V-AI v8.2.0 ซึ่งเป็นรันไทม์การอนุมานแบบ bounded-memory โอเพนซอร์สที่บีบอัดคีย์และค่าของ KV-cache ให้เป็นสถานะ ternary 2-bit โดยอ้างว่าลดพื้นที่จัดเก็บได้ 7.97 เท่าเมื่อเทียบกับ FP16 บน GPU NVIDIA Tesla T4 จำนวน 2 ตัวกับ Qwen2.5-3B-Instruct โหมดสตรีมมิ่ง FP8 ให้ผลลัพธ์ตรงกับแบบ lossless ที่ 64/64 โทเคน และ attention sinks รักษาความสอดคล้องของการดึงข้อมูลเฉลี่ยไว้ที่ 0.988 ในบริบท 512–4,096 โทเคน ใช้งานร่วมกับ Hugging Face AutoModelForCausalLM ได้ผ่านการเรียก `vantage.enable()` เพียงบรรทัดเดียวภายใต้ MIT License
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 5
- จุดสูงสุดในช่วงที่เทียบได้
- 1015 พฤศจิกายน 19:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู