跳至正文
Zyphra Research·· 24 天前AI 評分58

Zyphra Inference Wave 2 為 MI355X 推論服務帶來自訂 HIP MoE 與稀疏注意力核心

Zyphra Inference Wave 2: Faster MoE and Long-Context Serving on MI355X

AI 導讀

Zyphra 發布針對 AMD Instinct MI355X GPU 的 Zyphra Optimization Engine(ZOE)第二波更新,在其 vLLM 與 SGLang 的生產分支中加入四個自訂 HIP 核心,用於 MoE 與稀疏注意力。40x)。3 checkpoint 在四項推理基準上與 FP8 的差距維持在 3 分以內,但僅在高併發時解碼速度更快。

來源:Zyphra Research · zyphra.com