Zyphra Research·· 24 天前AI 評分58
Zyphra Inference Wave 2 為 MI355X 推論服務帶來自訂 HIP MoE 與稀疏注意力核心
Zyphra Inference Wave 2: Faster MoE and Long-Context Serving on MI355X
AI 導讀
Zyphra 發布針對 AMD Instinct MI355X GPU 的 Zyphra Optimization Engine(ZOE)第二波更新,在其 vLLM 與 SGLang 的生產分支中加入四個自訂 HIP 核心,用於 MoE 與稀疏注意力。40x)。3 checkpoint 在四項推理基準上與 FP8 的差距維持在 3 分以內,但僅在高併發時解碼速度更快。
來源:Zyphra Research · zyphra.com