Modal 如何实现真正的无服务器 GPU
Modal 发布了一篇工程文章,讲述其如何将 AI 推理副本的启动时间从约 2,000 秒缩短至约 50 秒,所用四个组件为:空闲健康 GPU 缓冲池、名为 ImageFS 的惰性内容寻址文件系统、基于 gVisor runsc 的宿主机侧检查点/恢复,以及基于 Nvidia 驱动支持的 CUDA 检查点/恢复。在超过一万次冷启动中,对于约 1 GiB 的 bf16 Qwen 3 0.6B 模型,vLLM 平均启动延迟从 95,679 毫秒降至 13,797 毫秒,SGLang 从 83,713 毫秒降至 17,486 毫秒。文章也指出了局限,包括快照仅支持单 GPU,以及宿主机环境敏感性要求每次部署需准备多个快照。