Moonshot 的 Kimi K3 现已在 Modal 上线，支持 day-zero vLLM
Modal 在发布当天就在其平台上线了 Moonshot 的 Kimi K3，通过按 token 计费的 Shared API 和专用 Auto Endpoints 提供这款拥有 1M token 上下文窗口的 2.8 万亿参数多模态模型。Modal 表示，针对 K3 架构调优的自定义 DFlash speculator 在 agentic 工作负载上将交互性从每秒 100 token 提升到 460 token，并将每 GPU 吞吐量从 800k TPM 提升到 150 万 TPM。该模型采用混合专家设计，每个 token 激活 896 个专家中的 16 个，Moonshot 在发布前向 vLLM 贡献了新的前缀缓存实现。
推荐理由：Modal 详细介绍了它如何在发布当天将 Moonshot 的 2.8T 参数 Kimi K3 引入其平台，包括一个自定义 DFlash speculator，将交互性从每秒 100 token 提升到 460 token。