Zyphra Inference Wave 2 mang kernel HIP MoE tùy chỉnh và kernel sparse-attention đến phục vụ trên MI355X

Zyphra phát hành làn sóng thứ hai của Zyphra Optimization Engine (ZOE) cho GPU AMD Instinct MI355X, bổ sung bốn kernel HIP tùy chỉnh cho MoE và sparse attention vào các bản fork sản xuất của vLLM và SGLang. 40x). 3 checkpoint vẫn nằm trong phạm vi 3 điểm so với FP8 trên bốn benchmark suy luận nhưng chỉ giải mã nhanh hơn ở mức đồng thời cao.