公司与模型
阿里千问 Qwen 系列的模型发布与开源更新，从旗舰大模型到能装进手机的小模型。
2 条精选近 30 天 0 条共收录 4 条
Qwen3.8-2.4T-A95B 已作为开源权重模型发布，并同步在 Modal 上线。Modal 表示其与 Qwen 在发布前合作，通过 SGLang 和针对 Qwen3.8 形状调优的定制 DFlash 推测器，为 Modal Auto Endpoints 提供 day zero 支持。
推荐理由：Modal 在 Qwen3.8-2.4T-A95B 开源权重发布当天即上线共享端点，并说明其定制 DFlash 推测器如何针对该模型的形状提升推理速度。
Modal 在 Hugging Face 上为 Qwen 系列发布了一组 DFlash 草稿模型，包括 Qwen 3.6 35B-A3B-DFlash 和从 4B 到 122B-A10B 的 Qwen 3.5 变体，以及一个用 SGLang 构建的 Qwen 3.5 397B-A17B 的 DFlash 推测器。该公司表示，新的草稿器在现有 DFlash 基线之上额外提速 5-20%，并且可以在 B200 节点上以并发 1 运行 Qwen 3.5 122B-A10B 达到超过 1000 tok/s，而不使用推测时为 250 tok/s。文章认为，在内核优化只能带来几个百分点提升的地方，推测解码可带来 2 倍至 3 倍的增益，并提出了一个根据接受长度估算加速比的 roofline 模型。
推荐理由：Modal 解释了为何押注推测解码，并为 Qwen 系列发布了 DFlash 草稿模型，附有实测加速比和用于估算增益的 roofline 模型。