NVIDIA 英偉達 · 精選 · 第 2 頁

Modal Blog· 20:00精選AI 評分6060

Modal 宣布 GPU 記憶體快照進入 alpha 階段，將其既有的 checkpoint/restore 系統延伸至擷取 GPU vRAM、CUDA 核心、串流與上下文，讓 GPU 工作負載能從凍結狀態還原，而非在開機後重建 CUDA 狀態。

推薦理由：Modal 將 GPU 狀態納入其記憶體快照，讓 torch.compile 與 vLLM 工作負載的冷啟動時間最多縮短 10 倍，並使 scale-to-zero 更為實用。