Modal 与 Sakana AI 如何为 Sakana Namazu API 提供约 1T 参数 MoE 模型服务

Modal 的前沿部署工程团队与 Sakana AI 合作，在 Modal 上运行 Sakana Namazu——一个针对日本商业语境调优的约 1T 参数 MoE 模型——以支持其公开 API 上线。团队仅对路由专家应用选择性 NVFP4 量化，注意力、路由器和共享专家保持 BF16，并基于日语为主的对话进行校准，使全部 23,040 个专家都看到有代表性的流量。一个基于超过 300 亿原始 token ID 训练的定制 DFlash 草稿模型将推测 token 接受率提高了 25%，并将每 token 解码延迟降低约 35%；另一个基于约 100 万真实请求训练的草稿模型将平均接受长度从 3.51 提升到 5.01，并将 p99 延迟从 68 秒降至 52 秒。