Modal 與 Sakana AI 如何為 Sakana Namazu API 部署約 1T 參數的 MoE 模型
Modal 的前置部署工程團隊與 Sakana AI 合作,在 Modal 上運行 Sakana Namazu——一個針對日本商業情境調校、約 1T 參數的 MoE 模型,以支援其公開 API 上線。團隊僅對路由專家套用選擇性 NVFP4 量化,注意力層、路由器與共享專家則維持 BF16,並以日語為主的對話進行校準,確保全部 23,040 個專家都接收到具代表性的流量。一個以超過 300 億個原始 token ID 訓練的自訂 DFlash 草稿模型,將推測性 token 接受率提升 25%,並使每 token 解碼延遲降低約 35%;另一個以約 100 萬筆真實請求訓練的草稿模型,則將平均接受長度從 3.51 提升至 5.01,並將 p99 延遲從 68 秒降至 52 秒。