Modal เปิดตัว GPU memory snapshots สำหรับการเริ่มต้นแบบ serverless ที่ใช้เวลาต่ำกว่าหนึ่งวินาที
Modal ประกาศเปิดตัว GPU memory snapshots ในเวอร์ชัน alpha โดยขยายระบบ checkpoint/restore ที่มีอยู่ให้สามารถบันทึก GPU vRAM, CUDA kernels, streams และ contexts เพื่อให้ GPU workloads กู้คืนจากสถานะที่หยุดไว้แทนการสร้าง CUDA state ใหม่หลังบูต
ทำไมเรื่องนี้สำคัญ: Modal เพิ่ม GPU state เข้าไปใน memory snapshots ของตน ช่วยลดเวลา cold boot สำหรับ torch.compile และ vLLM workloads ได้มากถึง 10 เท่า และทำให้ scale-to-zero ใช้งานได้จริงมากขึ้น