Zyphra Research·· 24 วันที่แล้วคะแนน AI58
Zyphra Inference Wave 2 นำเสนอเคอร์เนล HIP MoE และ sparse-attention แบบกำหนดเองสำหรับการให้บริการบน MI355X
Zyphra Inference Wave 2: Faster MoE and Long-Context Serving on MI355X
สรุปโดย AI
Zyphra เปิดตัวเวฟที่สองของ Zyphra Optimization Engine (ZOE) สำหรับ GPU AMD Instinct MI355X โดยเพิ่มเคอร์เนล HIP แบบกำหนดเองสี่ตัวสำหรับ MoE และ sparse attention เข้าใน production forks ของ vLLM และ SGLang 40x) เช็กพอยต์ 3 ยังคงอยู่ในระยะ 3 คะแนนจาก FP8 บนเกณฑ์มาตรฐานการให้เหตุผลสี่รายการ แต่ถอดรหัสได้เร็วกว่าเฉพาะที่การทำงานพร้อมกันสูง
แหล่งข่าว:Zyphra Research · zyphra.com