Modal bổ sung tính năng chụp nhanh bộ nhớ để giảm thời gian khởi động nguội của serverless xuống 2,5 lần
Modal đã giới thiệu tính năng khôi phục từ ảnh chụp nhanh bộ nhớ cho môi trường chạy container GPU serverless của mình, mà họ cho biết giúp thời gian khởi động nguội nhanh hơn khoảng 2,5 lần so với khởi động container tiêu chuẩn. Một Function suy luận Stable Diffusion thường mất khoảng 13 giây nay khôi phục trong 3,5 giây, và một chương trình import torch đơn giản giảm từ khoảng 5 giây xuống còn khoảng 1,05 giây ở p50 và 0,69 giây ở p0. Ảnh chụp nhanh được xây dựng trên tính năng checkpoint/restore của gVisor và được tạo theo yêu cầu, với tự động chuyển sang khởi động container tiêu chuẩn khi khôi phục thất bại; trạng thái GPU chưa được lưu, nên phải xây dựng lại sau khi khôi phục.
Vì sao đáng chú ý: Modal giải thích cách ảnh chụp nhanh bộ nhớ dựa trên gVisor giảm thời gian khởi động nguội của serverless, với thời gian khôi phục cụ thể cho một Function Stable Diffusion và một ví dụ import torch.