ข้ามไปที่เนื้อหา

ประเภทเนื้อหา

อัปเดตผลิตภัณฑ์ ล่าสุด

ฟีเจอร์ใหม่ การออกแบบใหม่ และการทำตลาดของผลิตภัณฑ์ AI — ค่ายไหนเก่งขึ้น แพงขึ้น หรือใช้งานได้จริงเสียที

61 รายการคัดสรร40 รายการใน 30 วันที่ผ่านมาเก็บไว้ 566 รายการ

อัปเดต 18 พฤศจิกายน 04:01

อัปเดตผลิตภัณฑ์ · คัดสรร · หน้า 4

28 มกราคม 2025วันอังคารรายการ 61–61 จากทั้งหมด 61
  1. Modal Blog62

    Modal เพิ่ม memory snapshots เพื่อลด cold start ของ serverless ลง 2.5 เท่า

    Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch