Moonshot 的 Kimi K3 現已在 Modal 上線，並提供首日 vLLM 支援
Modal 在 Moonshot 的 Kimi K3 發布當天，便於其平台上架這款 2.8 兆參數的多模態模型，透過按 token 計價的 Shared API 與專用 Auto Endpoints，提供 100 萬 token 的上下文視窗。Modal 表示，一款針對 K3 架構調校的客製化 DFlash 推測器，在代理式工作負載下，將互動性從每秒 100 個 token 提升至每秒 460 個 token，並將每顆 GPU 的吞吐量從 80 萬 TPM 提升至 150 萬 TPM。該模型採用混合專家設計，每個 token 啟用 896 個專家中的 16 個，而 Moonshot 在發布前也向 vLLM 貢獻了新的前綴快取實作。
推薦理由：Modal 詳細說明它如何在發布當天將 Moonshot 的 2.8 兆參數 Kimi K3 上架至其平台，其中包括一款客製化 DFlash 推測器，可將互動性從每秒 100 個 token 提升至每秒 460 個 token。