Modal cho thấy cách chạy FLUX.1-dev nhanh gấp ba lần

Các kỹ sư của Modal mô tả việc làm cho FLUX.1-dev của Black Forest Labs chạy nhanh khoảng ba lần dưới dạng dịch vụ tự động mở rộng, rút ngắn thời gian tạo ảnh 1024x1024 từ khoảng 6,75 giây xuống dưới ba giây. Các tối ưu hóa tiêu chuẩn, cụ thể là trình biên dịch Torch với max-autotune, fused QKV attention và bố cục bộ nhớ channels-last, mang lại khoảng 1,5 lần, trong khi First Block Caching từ kho ParaAttention, dựa trên bài báo TEACache, tăng thêm 2 lần nữa ở ngưỡng 0,12. Compile cache và Modal Memory Snapshots giảm độ trễ khởi động nguội xuống 30 lần.