跳到正文
Modal Blog· Luis Capelo·· 2025-07-30精选AI 评分60

Modal 推出 GPU 内存快照,实现亚秒级无服务器冷启动

GPU Memory Snapshots: Supercharging sub-second startup

AI 导读

Modal 宣布推出 alpha 版 GPU 内存快照,将其现有的检查点/恢复系统扩展至捕获 GPU 显存、CUDA 内核、流和上下文,使 GPU 工作负载从冻结状态恢复,而非在启动后重建 CUDA 状态。

推荐理由

Modal 将 GPU 状态加入其内存快照,使 torch.compile 和 vLLM 工作负载的冷启动时间最多缩短 10 倍,并让缩容至零更具实用性。

来源:Modal Blog · modal.com