Modal 如何為兆級參數編碼代理提供數兆個 token 的服務

Modal 說明其如何為編碼代理最佳化 Kimi K2.6 推論，達到每個副本每位使用者 2.8 倍、跨使用者 5.6 倍的效能，並以每日數千億個 token 的規模運行服務。這項工作結合了在編碼軌跡上微調的客製化 DFlash 推測解碼、FP8 KV 快取與 NVFP4 共享專家量化、HiCache CPU 層級快取，以及感知 KV 快取的基於負載路由。Modal 已將其 SGLang 修補程式上游化，並釋出 Modal Auto Endpoints 背後的設定。