ตอนนี้ Modal ให้แต่ละ Function เข้าคิวอินพุตได้สูงสุด 1 ล้านรายการ เพิ่มขึ้นจาก 2k พร้อมขีดจำกัดอัตราการเรียก .spawn() ที่สูงขึ้น และเก็บผลลัพธ์ FunctionCall ไว้ 7 วัน การอัปเดตนี้ยังเพิ่มแอปชั่วคราวผ่าน app.run() ภายในคอนเทนเนอร์ ข้อมูล Git commit สำหรับแอปใน CLI และแดชบอร์ด และตัวอย่าง TensorRT-LLM ใหม่ที่ให้บริการ LLM ด้วยความหน่วงต่ำกว่า 400 ms
Modal ลดราคา GPU, CPU และหน่วยความจำลงสูงสุดถึง 65% และผู้ใช้แพ็กเกจ Team สามารถรัน GPU พร้อมกันได้สูงสุดถึง 50 ตัวแล้ว ตอนนี้ Modal SDK อยู่บน conda-forge เริ่มตั้งแต่เวอร์ชัน 0.73.46 และมีแผนจะปล่อยไคลเอนต์เวอร์ชัน 1.0 Modal ยังเผยแพร่ตัวอย่าง LTX-Video แบบ image-to-video และเปิดตัวโลโก้ใหม่
Modal ได้เปิดตัวแดชบอร์ดบันทึกที่ปรับปรุงใหม่พร้อมการกรองช่วงเวลาที่ป้อนได้ การทำโปรไฟล์คอนเทนเนอร์แบบเรียลไทม์สำหรับการดีบักคอนเทนเนอร์หรืออินพุตที่ค้าง และ Debug Shells ที่รันคำสั่งเช่น vim, ps และ strace ภายในคอนเทนเนอร์ที่กำลังทำงาน ขณะนี้การเลือกภูมิภาคพร้อมใช้งานในทุกแพ็กเกจ โดยคิดราคาด้วยตัวคูณจากราคาฐาน และไคลเอนต์เพิ่มการยืนยันตัวตน OIDC สำหรับการเมานต์คลาวด์บักเก็ตผ่านฟิลด์ oidc_auth_role_arn ใหม่
Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า
ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch
Modal เปิดให้บริการ GPU NVIDIA L40S ในราคา $1.95/ชั่วโมง พร้อมหน่วยความจำ 48GB ให้ประสิทธิภาพเร็วขึ้นถึง 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และเร็วขึ้นกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผล เมื่อเทียบกับ GPU A10 ของบริษัท แพลตฟอร์มยังเพิ่มโทเค็นการยืนยันตัวตนผ่านพร็อกซีสำหรับควบคุมการเข้าถึงปลายทางเว็บ, Filesystem API สำหรับแซนด์บ็อกซ์ และการสแนปช็อตดิสก์ที่ให้ผู้ใช้สร้างอินสแตนซ์แซนด์บ็อกซ์ใหม่จากสแนปช็อตเพื่อขจัดปัญหาการเริ่มต้นแบบเย็น นอกจากนี้ Modal ยังประกาศว่าได้รับการรับรอง SOC 2 Type 2 แล้ว
Modal ประกาศความพร้อมใช้งานทั่วไปของ Sandboxes ซึ่งเป็น primitive สำหรับรันโค้ดที่ไม่น่าเชื่อถือจาก LLM ผู้ใช้ หรือแหล่งบุคคลที่สามอย่างปลอดภัยในสภาพแวดล้อมแบบแยกส่วนที่แยกจากทรัพยากรอื่นของ Modal Sandboxes มี exec API ที่เรียบง่าย สภาพแวดล้อมที่กำหนดค่าได้ขณะรันผ่าน Image API และสแนปช็อตระบบไฟล์เพื่อการคงอยู่ Modal ยังได้ upstream การสนับสนุนเข้าสู่ SWE-bench โดยแฟล็ก --modal ช่วยให้งาน 500 งานของ Verified benchmark รันได้ในเวลาประมาณ 7 นาที และอ้างถึง Poe ของ Quora, Codegen และ Relevance AI เป็นลูกค้า
Modal เปิดตัวรอบอัปเดตผลิตภัณฑ์ที่นำโดยการอัปเกรดครั้งใหญ่ของฟีเจอร์ memory snapshotting เวอร์ชัน beta ซึ่งระบุว่าสามารถลดเวลา cold start ได้ครึ่งหนึ่งสำหรับโมเดลอย่าง Stable Diffusion แพลตฟอร์มยังเพิ่มการรองรับ OpenID Connect สำหรับโทเค็นระบุตัวตนอายุสั้น, การบีบอัดอิมเมจ eStargz เพื่อให้ build จาก registry อย่าง ECR และ Docker Hub เร็วขึ้น และกำลังขยายคิวงาน async ไปสู่ขีดจำกัดอินพุต 1 ล้านรายการ จากเดิม 2 พันรายการ
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA L40S ในราคา $1.95/ชม. โดยวางตำแหน่งเป็นทางเลือกที่เร็วกว่าและมีหน่วยความจำมากกว่าตัวเร่งความเร็ว inference ยอดนิยมที่สุดอย่าง A10 โดย L40S มี RAM ของ GPU เพิ่มเป็นสองเท่าที่ 48GB ทำให้โมเดลอย่าง Flux.1-schnell รันด้วยความแม่นยำ 16bit บน GPU เดียวได้ และให้ความเร็วเพิ่มขึ้นราว 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และมากกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผลแบบ 16bit Tensor Core
Modal เปิดตัวพร็อกซี IP แบบคงที่ซึ่งกำหนดเส้นทางทราฟฟิกขาออกผ่าน IP เฉพาะของเวิร์กสเปซ พร้อมการเชื่อมต่อ Slack แบบเนทีฟสำหรับการแจ้งเตือนแอปแบบเรียลไทม์ และแดชบอร์ดการใช้งานแบบเรียลไทม์ที่ติดตามทรัพยากรทั่วทุกแอปในเวิร์กสเปซ การอัปเดตครั้งนี้ยังเพิ่ม GPU fallback สำหรับฟังก์ชัน ขยายขอบเขตทรัพยากรที่ฟังก์ชันสามารถถูกจัดสรรได้ และการเปลี่ยนแปลงฝั่งไคลเอนต์ รวมถึง ID คอนเทนเนอร์ของ `modal shell` และการสแนปช็อตหน่วยความจำสำหรับฟังก์ชันที่รับพารามิเตอร์
Modal ได้เพิ่มการรองรับ dynamic batching แบบเนทีฟ ทำให้ฟังก์ชัน inference สามารถจัดกลุ่มคำขอได้ผ่าน decorator @modal.batched() ตัวเดียว พร้อมพารามิเตอร์ max_batch_size และ wait_ms บน OpenAI's Whisper large v3 ที่รันบน A10G การตั้งค่า max_batch_size ที่ 64 เพิ่มทรูพุตจาก ~1.2 เป็น ~3.3 คำขอต่อวินาทีต่อคอนเทนเนอร์ และลดต้นทุน inference ลง 65%
Modal เปิดตัวฟีเจอร์ app rollbacks ที่ให้ผู้ใช้ย้อนกลับแอปที่ deploy แล้วไปยังเวอร์ชันก่อนหน้าจากแดชบอร์ดหรือ CLI พร้อมกับ decorator @batched ที่รวบรวมคำขอเป็นแบตช์ขนาดไดนามิกเพื่อแลกความหน่วงกับ throughput และการใช้ GPU ให้สูงขึ้น วัตถุ Sandbox สามารถส่งต่อพอร์ต TCP ไปยังอินเทอร์เน็ตและ exec โปรเซสเพิ่มเติมได้แล้ว และสามารถส่งออกบันทึกไปยังผู้ให้บริการ OpenTelemetry ได้ นอกจากนี้ CPU cores และ GPU ระดับสูงยังมีราคาถูกลง
Cursor ได้พัฒนา shadow workspace ที่ให้ AI ของตนแก้ไขในหน้าต่าง Electron ที่ซ่อนอยู่และอ่านผลลัพธ์ lint กลับมาโดยไม่กระทบเซสชันการแก้ไขของผู้ใช้ โพสต์ดังกล่าวสรุปเป้าหมายการออกแบบด้านความพร้อมใช้งานของ LSP ความเป็นอิสระ ความเป็นส่วนตัว การทำงานพร้อมกัน และความเร็ว และอธิบายว่าทำไมการคัดลอก TextModel หรือการรัน language server แยกต่างหากจึงล้มเหลว นอกจากนี้ยังร่างแนวทาง folder proxy ระดับเคอร์เนลในอนาคตเพื่อความสามารถในการรัน โดยระบุว่า macOS และ Windows ไม่มีเส้นทาง FUSE ที่ใช้งานได้ และการสนับสนุน Rust LSP ในปัจจุบันยังไม่มี
Modal ประกาศลดราคา CPU และ GPU รุ่นทรงพลังที่สุดบางรุ่นลง 15-30% โดยให้เหตุผลว่ามีการแข่งขันในกลุ่มผู้จัดหา GPU เพิ่มมากขึ้น และมีการเปิดตัว GPU ที่ทรงพลังกว่าในช่วงหนึ่งปีที่ผ่านมา บริษัทยังเปลี่ยนรูปแบบการคิดค่าบริการ CPU/หน่วยความจำ เป็นคิดตาม max(การจอง, การใช้งานจริง) ต่อคอนเทนเนอร์ที่กำลังทำงาน โดยมีการจองขั้นต่ำเริ่มต้นที่ 0.125 คอร์ CPU สำหรับทุก Functions แพ็กเกจ Team ปรับขึ้นเป็น 250 ดอลลาร์/เดือน พร้อมที่นั่งไม่จำกัดและเครดิต 100 ดอลลาร์/เดือน โดยราคาใหม่จะมีผลในเดือนกันยายนสำหรับผู้ใช้ Starter และ Team/Enterprise ที่ได้รับผลกระทบ
อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่มการผสานรวม Datadog ที่ส่งต่อบันทึกแอปพลิเคชันและบันทึกการตรวจสอบได้ในคลิกเดียว พร้อมการเลือกภูมิภาคคลาวด์สำหรับฟังก์ชันเพื่อตอบสนองความต้องการด้านกฎระเบียบ ต้นทุนขาออก หรือตำแหน่งฐานข้อมูล บริษัทยังปรับปรุงระบบเรียกฟังก์ชันใหม่เพื่อให้มีปริมาณงานสูงขึ้นโดยมีค่าใช้จ่ายส่วนเกินต่ำลงอย่างมีนัยสำคัญ มุ่งเป้าไปที่เวิร์กโหลดการผลิตแบบเรียลไทม์ที่มีเวลาตอบสนองต่ำ และยกเครื่องหน้ารายละเอียดแอปใหม่ด้วยการซูมตามช่วงเวลา สถานะคอนเทนเนอร์ และมุมมองระบบไฟล์อิมเมจ
อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่ม writable mounts สำหรับบัคเก็ต AWS S3 และ Cloudflare R2, decorator @web_server สำหรับโฮสต์เว็บเซิร์ฟเวอร์ที่ไม่ใช่ ASGI/WSGI บนพอร์ตที่กำหนด และ Okta single sign-on สำหรับผู้ใช้แผนองค์กร ตัวดู volume ในเว็บแดชบอร์ดให้ผู้ใช้สำรวจระบบไฟล์ของ volume และไคลเอนต์เวอร์ชันล่าสุดเพิ่มการประกอบแอปหลายไฟล์ผ่าน .include, คิวแบบ partitioned และการรองรับ stdin สำหรับ Sandboxes
Modal รองรับการเชื่อมต่อ WebSocket แล้ว ทำให้ฟังก์ชันบนแพลตฟอร์มสามารถคงการเชื่อมต่อแบบสองทิศทางที่ต่อเนื่องระหว่างไคลเอนต์และเซิร์ฟเวอร์ แทนที่จะเป็นการเชื่อมต่อ HTTP ต่อคำขอ แต่ละการเชื่อมต่อ WebSocket นับเป็นอินพุตหนึ่งรายการ ดังนั้นฟังก์ชันที่ไม่ถูกจำกัดด้วย CPU/GPU ควรอนุญาตให้มีอินพุตพร้อมกัน หรือ Modal จะสร้างคอนเทนเนอร์ใหม่ต่อการเชื่อมต่อหนึ่งครั้ง Modal ปรับขนาดตัวจัดการ WebSocket โดยอัตโนมัติ มุ่งเป้าไปที่การสตรีมแบบเรียลไทม์ การอัปเดตความคืบหน้าของงานที่ใช้เวลานาน และการโฮสต์เฟรมเวิร์กอย่าง ComfyUI, Streamlit และ Gradio
Modal ได้เพิ่มการรองรับ WebSocket ให้กับฟังก์ชันของตน ทำให้สามารถโฮสต์เฟรมเวิร์กอย่าง Streamlit ได้แบบพร้อมใช้ พร้อมทั้งคำสั่งแบบอินเทอร์แอกทีฟผ่าน `modal container exec` สำหรับตรวจสอบและดีบักคอนเทนเนอร์ที่กำลังทำงานอยู่ ขณะนี้ GPU H100 พร้อมใช้งานบน Modal แล้ว และการอัปเดตไคลเอนต์ได้เพิ่ม lifecycle hooks `@build` การคอมมิตเบื้องหลังอัตโนมัติสำหรับ Volumes และคำสั่ง CLI ที่ขยายเพิ่มเติม ได้แก่ get, put และ rm
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA H100 ในราคา 7.65 ดอลลาร์ต่อชั่วโมงต่อ GPU ผลทดสอบของ NVIDIA แสดงว่า H100 ให้ความเร็วในการฝึกสูงสุดถึง 4 เท่า และความเร็วในการอนุมานสูงสุดถึง 30 เท่าเมื่อเทียบกับ A100 พร้อม DRAM บนชิป 80 GB และเชื่อมต่อ GPU ได้สูงสุด 8 ตัวผ่าน NVLink ที่ 3.6 TB/s ผู้ใช้เปิดใช้งานได้โดยตั้งค่า "H100" เป็นประเภท GPU ใน Modal decorator