Công ty & mô hình
Các đợt phát hành và cập nhật mã nguồn mở của dòng Qwen (Alibaba), từ mô hình hàng đầu đến mô hình nhỏ chạy được trên điện thoại.
2 tin chọn0 trong 30 ngày quaĐã thu thập 4
Qwen3.8-2.4T-A95B 已作为开源权重模型发布，并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作，通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器，为 Modal Auto Endpoints 提供 day zero 支持。
Vì sao đáng chú ý: Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点，并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。
Modal released a set of DFlash draft models for the Qwen series on Hugging Face, including Qwen 3.6 35B-A3B-DFlash and Qwen 3.5 variants from 4B to 122B-A10B, plus a DFlash speculator for Qwen 3.5 397B-A17B built with SGLang. The company says the new drafters add 5-20% speedup over existing DFlash baselines and can run Qwen 3.5 122B-A10B at over 1000 tok/s at concurrency 1 on a B200 node, versus 250 tok/s without speculation. The post argues speculative decoding delivers 2x-3x gains where kernel optimization yields small percentage points, and presents a roofline model for estimating speedup from acceptance length.
Vì sao đáng chú ý: Modal explains why it bets on speculative decoding and releases DFlash draft models for the Qwen series, with measured speedups and a roofline model for estimating gains.