Zyphra Research·· 24 天前AI 评分58
Zyphra Inference Wave 2 为 MI355X 服务带来定制 HIP MoE 与稀疏注意力内核
Zyphra Inference Wave 2: Faster MoE and Long-Context Serving on MI355X
AI 导读
Zyphra 发布了面向 AMD Instinct MI355X GPU 的 Zyphra 优化引擎(ZOE)第二波,在其 vLLM 和 SGLang 的生产分支中加入四个用于 MoE 和稀疏注意力的定制 HIP 内核。40x)。3 checkpoint 在四个推理基准上与 FP8 相差不超过 3 分,但仅在高并发下解码更快。
来源:Zyphra Research · zyphra.com