Modal phục vụ hàng nghìn tỷ token cho các coding agent nghìn tỷ tham số như thế nào

Modal giải thích cách họ tối ưu hóa suy luận Kimi K2.6 cho các coding agent, đạt hiệu năng gấp 2,8 lần mỗi người dùng và 5,6 lần giữa các người dùng trên mỗi replica, đồng thời vận hành dịch vụ ở mức hàng trăm tỷ token mỗi ngày. Công trình kết hợp giải mã suy đoán DFlash tùy chỉnh được tinh chỉnh trên các coding trace, FP8 KV cache và lượng tử hóa shared-expert NVFP4, bộ nhớ đệm tầng CPU HiCache, và định tuyến dựa trên tải có nhận biết KV cache. Modal đã đóng góp ngược các bản vá SGLang của mình và phát hành cấu hình đằng sau Modal Auto Endpoints.