Modal 如何为万亿参数编码智能体提供数万亿 token 的服务

Modal 解释了它如何为编码智能体优化 Kimi K2.6 推理，实现每个副本单用户 2.8 倍、跨用户 5.6 倍的性能提升，并以每天数千亿 token 的规模运行服务。这项工作结合了在编码轨迹上微调的定制 DFlash 推测解码、FP8 KV 缓存和 NVFP4 共享专家量化、HiCache CPU 层缓存，以及 KV 缓存感知的基于负载的路由。Modal 将其 SGLang 补丁上游化，并发布了 Modal Auto Endpoints 背后的配置。