Modal 如何實現真正的無伺服器 GPU

Modal 發表了一篇工程文章，說明他們如何將 AI 推論副本的啟動時間從約 2,000 秒縮短到約 50 秒，方法包含四個元件：閒置健康 GPU 的緩衝池、名為 ImageFS 的延遲內容定址檔案系統、透過 gVisor 的 runsc 進行主機端檢查點/還原，以及建構在 Nvidia 驅動程式支援上的 CUDA 檢查點/還原。在超過一萬次冷啟動中，對於 bf16 格式的約 1 GiB Qwen 3 0.6B 模型，vLLM 的平均啟動延遲從 95,679 毫秒降至 13,797 毫秒，SGLang 則從 83,713 毫秒降至 17,486 毫秒。文章也指出了一些限制，包括快照僅支援單一 GPU，以及主機環境的敏感性要求每次部署需準備多個快照。