跳到正文
Modal Blog· Jonathon Belotti·· 2025-01-28精选AI 评分62

Modal 增加内存快照,将无服务器冷启动缩短 2.5 倍

Memory snapshots: Checkpoint/restore for sub-second startup

AI 导读

Modal 为其无服务器 GPU 容器运行时引入了内存快照恢复功能,称其冷启动速度比标准容器启动快约 2.5 倍。一个通常需要约 13 秒的 Stable Diffusion 推理 Function 现在可在 3.5 秒内恢复,而一个简单的 import torch 程序在 p50 下从约 5 秒降至约 1.05 秒,在 p0 下降至 0.69 秒。快照基于 gVisor 的 checkpoint/restore 构建,按需创建,当恢复失败时会自动回退到标准容器启动;GPU 状态尚未保存,因此必须在恢复后重建。

推荐理由

Modal 解释了基于 gVisor 的内存快照如何缩短无服务器冷启动,并给出了 Stable Diffusion Function 和 torch import 示例的具体恢复耗时。

来源:Modal Blog · modal.com