跳至正文
Modal Blog· Luis Capelo·· 2025-07-30精選AI 評分60

Modal 推出 GPU 記憶體快照,實現亞秒級無伺服器冷啟動

GPU Memory Snapshots: Supercharging sub-second startup

AI 導讀

Modal 宣布 GPU 記憶體快照進入 alpha 階段,將其既有的 checkpoint/restore 系統延伸至擷取 GPU vRAM、CUDA 核心、串流與上下文,讓 GPU 工作負載能從凍結狀態還原,而非在開機後重建 CUDA 狀態。

推薦理由

Modal 將 GPU 狀態納入其記憶體快照,讓 torch.compile 與 vLLM 工作負載的冷啟動時間最多縮短 10 倍,並使 scale-to-zero 更為實用。

來源:Modal Blog · modal.com