跳至正文
Modal Blog· Jonathon Belotti·· 2025-01-28精選AI 評分62

Modal 加入記憶體快照,將無伺服器冷啟動加快 2.5 倍

Memory snapshots: Checkpoint/restore for sub-second startup

AI 導讀

Modal 為其無伺服器 GPU 容器執行環境推出記憶體快照還原功能,並表示這能讓冷啟動比標準容器啟動快約 2.5 倍。一個通常需要約 13 秒的 Stable Diffusion 推論 Function,現在只需 3.5 秒即可還原;而一個簡單的 import torch 程式,則從約 5 秒降至 p50 約 1.05 秒、p0 約 0.69 秒。快照建構於 gVisor 的 checkpoint/restore 之上,並依需求建立;當還原失敗時,會自動退回標準容器啟動。GPU 狀態目前尚未被儲存,因此還原後必須重建。

推薦理由

Modal 說明以 gVisor 為基礎的記憶體快照如何縮短無伺服器冷啟動,並提供 Stable Diffusion Function 與 torch import 範例的具體還原時間。

來源:Modal Blog · modal.com