ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

Vantage-V-AI v8.2.0 เปิดตัวพร้อม KV-Cache แบบ Ternary 2 บิต

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 23 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Nguyen Vo Anh Khoa เปิดตัว Vantage-V-AI v8.2.0 ซึ่งเป็นรันไทม์สำหรับการอนุมานแบบโอเพนซอร์สภายใต้สัญญาอนุญาต MIT ที่บีบอัดคีย์และค่าของ KV-cache ให้อยู่ในสถานะ ternary 2 บิต โครงการอ้างว่าวิธีนี้ช่วยลดพื้นที่จัดเก็บ KV-cache ได้ 7.97 เท่าเมื่อเทียบกับ FP16 ในการทดสอบบน GPU NVIDIA Tesla T4 จำนวน 2 ตัวกับ Qwen2.5-3B-Instruct โหมดสตรีมมิ่ง FP8 ของรันไทม์ให้ผลลัพธ์ที่ตรงกับเอาต์พุตแบบไม่สูญเสียข้อมูลครบทั้ง 64 จาก 64 โทเคน และ attention sinks รักษาความสอดคล้องของการดึงข้อมูลโดยเฉลี่ยไว้ที่ 0.988 สำหรับบริบทขนาด 512 ถึง 4,096 โทเคน ตามประกาศเปิดตัว ตัวเลขเหล่านี้เป็นคำกล่าวอ้างของผู้เขียนและยังไม่ได้รับการตรวจสอบอย่างอิสระ Vantage ถูกออกแบบมาสำหรับการสร้างข้อความภายใต้หน่วยความจำจำกัดบน CPU อุปกรณ์เอดจ์ และตัวเร่งความเร็วแบบหลาย GPU และสามารถผสานรวมกับ Hugging Face AutoModelForCausalLM ใดก็ได้ผ่านการเรียก `vantage.enable()` เพียงบรรทัดเดียว โดยไม่ต้องเปลี่ยนแปลงลูปการสร้างข้อความหรือนิยามโมเดลที่มีอยู่

สร้างจากรายงาน · อัปเดต 22 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

15 พฤศจิกายน
  1. Hacker News · AI
    Show HN: Vantage-V-AI – KV-cache แบบ ternary 2-bit พร้อม attention sinks

    Nguyen Vo Anh Khoa เปิดตัว Vantage V-AI v8.2.0 ซึ่งเป็นรันไทม์การอนุมานแบบ bounded-memory โอเพนซอร์สที่บีบอัดคีย์และค่าของ KV-cache ให้เป็นสถานะ ternary 2-bit โดยอ้างว่าลดพื้นที่จัดเก็บได้ 7.97 เท่าเมื่อเทียบกับ FP16 บน GPU NVIDIA Tesla T4 จำนวน 2 ตัวกับ Qwen2.5-3B-Instruct โหมดสตรีมมิ่ง FP8 ให้ผลลัพธ์ตรงกับแบบ lossless ที่ 64/64 โทเคน และ attention sinks รักษาความสอดคล้องของการดึงข้อมูลเฉลี่ยไว้ที่ 0.988 ในบริบท 512–4,096 โทเคน ใช้งานร่วมกับ Hugging Face AutoModelForCausalLM ได้ผ่านการเรียก `vantage.enable()` เพียงบรรทัดเดียวภายใต้ MIT License

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
5
จุดสูงสุดในช่วงที่เทียบได้
1015 พฤศจิกายน 19:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
–

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู