ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#อัปเดตผลิตภัณฑ์
28 มกราคม 2025วันอังคาร
  1. Modal Blog62

    Modal เพิ่ม memory snapshots เพื่อลด cold start ของ serverless ลง 2.5 เท่า

    Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch

21 มกราคม 2025วันอังคาร
  1. Modal Blog20

    อัปเดตผลิตภัณฑ์ Modal: GPU L40S, โทเค็นการยืนยันตัวตนผ่านพร็อกซี และการสแนปช็อตดิสก์ของแซนด์บ็อกซ์

    Modal เปิดให้บริการ GPU NVIDIA L40S ในราคา $1.95/ชั่วโมง พร้อมหน่วยความจำ 48GB ให้ประสิทธิภาพเร็วขึ้นถึง 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และเร็วขึ้นกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผล เมื่อเทียบกับ GPU A10 ของบริษัท แพลตฟอร์มยังเพิ่มโทเค็นการยืนยันตัวตนผ่านพร็อกซีสำหรับควบคุมการเข้าถึงปลายทางเว็บ, Filesystem API สำหรับแซนด์บ็อกซ์ และการสแนปช็อตดิสก์ที่ให้ผู้ใช้สร้างอินสแตนซ์แซนด์บ็อกซ์ใหม่จากสแนปช็อตเพื่อขจัดปัญหาการเริ่มต้นแบบเย็น นอกจากนี้ Modal ยังประกาศว่าได้รับการรับรอง SOC 2 Type 2 แล้ว

  2. Modal Blog58

    Modal Sandboxes เปิดให้ใช้งานอย่างเป็นทางการ มอบสภาพแวดล้อมการทำงานแบบแยกส่วนสำหรับ LLM และโค้ดของผู้ใช้

    Modal ประกาศความพร้อมใช้งานทั่วไปของ Sandboxes ซึ่งเป็น primitive สำหรับรันโค้ดที่ไม่น่าเชื่อถือจาก LLM ผู้ใช้ หรือแหล่งบุคคลที่สามอย่างปลอดภัยในสภาพแวดล้อมแบบแยกส่วนที่แยกจากทรัพยากรอื่นของ Modal Sandboxes มี exec API ที่เรียบง่าย สภาพแวดล้อมที่กำหนดค่าได้ขณะรันผ่าน Image API และสแนปช็อตระบบไฟล์เพื่อการคงอยู่ Modal ยังได้ upstream การสนับสนุนเข้าสู่ SWE-bench โดยแฟล็ก --modal ช่วยให้งาน 500 งานของ Verified benchmark รันได้ในเวลาประมาณ 7 นาที และอ้างถึง Poe ของ Quora, Codegen และ Relevance AI เป็นลูกค้า

28 ธันวาคม 2024วันเสาร์
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: memory snapshotting เร็วขึ้น, OIDC, คิวงาน async

    Modal เปิดตัวรอบอัปเดตผลิตภัณฑ์ที่นำโดยการอัปเกรดครั้งใหญ่ของฟีเจอร์ memory snapshotting เวอร์ชัน beta ซึ่งระบุว่าสามารถลดเวลา cold start ได้ครึ่งหนึ่งสำหรับโมเดลอย่าง Stable Diffusion แพลตฟอร์มยังเพิ่มการรองรับ OpenID Connect สำหรับโทเค็นระบุตัวตนอายุสั้น, การบีบอัดอิมเมจ eStargz เพื่อให้ build จาก registry อย่าง ECR และ Docker Hub เร็วขึ้น และกำลังขยายคิวงาน async ไปสู่ขีดจำกัดอินพุต 1 ล้านรายการ จากเดิม 2 พันรายการ

19 ธันวาคม 2024วันพฤหัสบดี
  1. Modal Blog25

    Modal เพิ่ม GPU NVIDIA L40S สำหรับ AI Inference ในราคา $1.95/ชม.

    Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA L40S ในราคา $1.95/ชม. โดยวางตำแหน่งเป็นทางเลือกที่เร็วกว่าและมีหน่วยความจำมากกว่าตัวเร่งความเร็ว inference ยอดนิยมที่สุดอย่าง A10 โดย L40S มี RAM ของ GPU เพิ่มเป็นสองเท่าที่ 48GB ทำให้โมเดลอย่าง Flux.1-schnell รันด้วยความแม่นยำ 16bit บน GPU เดียวได้ และให้ความเร็วเพิ่มขึ้นราว 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และมากกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผลแบบ 16bit Tensor Core

8 พฤศจิกายน 2024วันศุกร์
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: พร็อกซี IP แบบคงที่ การเชื่อมต่อ Slack แดชบอร์ดการใช้งานแบบเรียลไทม์ และ GPU fallback

    Modal เปิดตัวพร็อกซี IP แบบคงที่ซึ่งกำหนดเส้นทางทราฟฟิกขาออกผ่าน IP เฉพาะของเวิร์กสเปซ พร้อมการเชื่อมต่อ Slack แบบเนทีฟสำหรับการแจ้งเตือนแอปแบบเรียลไทม์ และแดชบอร์ดการใช้งานแบบเรียลไทม์ที่ติดตามทรัพยากรทั่วทุกแอปในเวิร์กสเปซ การอัปเดตครั้งนี้ยังเพิ่ม GPU fallback สำหรับฟังก์ชัน ขยายขอบเขตทรัพยากรที่ฟังก์ชันสามารถถูกจัดสรรได้ และการเปลี่ยนแปลงฝั่งไคลเอนต์ รวมถึง ID คอนเทนเนอร์ของ `modal shell` และการสแนปช็อตหน่วยความจำสำหรับฟังก์ชันที่รับพารามิเตอร์

16 กันยายน 2024วันจันทร์
  1. Modal Blog38

    Modal เพิ่ม dynamic batching แบบเนทีฟ เพิ่มทรูพุตของ Whisper ได้ 2.8 เท่า

    Modal ได้เพิ่มการรองรับ dynamic batching แบบเนทีฟ ทำให้ฟังก์ชัน inference สามารถจัดกลุ่มคำขอได้ผ่าน decorator @modal.batched() ตัวเดียว พร้อมพารามิเตอร์ max_batch_size และ wait_ms บน OpenAI's Whisper large v3 ที่รันบน A10G การตั้งค่า max_batch_size ที่ 64 เพิ่มทรูพุตจาก ~1.2 เป็น ~3.3 คำขอต่อวินาทีต่อคอนเทนเนอร์ และลดต้นทุน inference ลง 65%

6 กันยายน 2024วันศุกร์
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: App Rollbacks, Dynamic Batching, Sandbox Tunnels และ OpenTelemetry

    Modal เปิดตัวฟีเจอร์ app rollbacks ที่ให้ผู้ใช้ย้อนกลับแอปที่ deploy แล้วไปยังเวอร์ชันก่อนหน้าจากแดชบอร์ดหรือ CLI พร้อมกับ decorator @batched ที่รวบรวมคำขอเป็นแบตช์ขนาดไดนามิกเพื่อแลกความหน่วงกับ throughput และการใช้ GPU ให้สูงขึ้น วัตถุ Sandbox สามารถส่งต่อพอร์ต TCP ไปยังอินเทอร์เน็ตและ exec โปรเซสเพิ่มเติมได้แล้ว และสามารถส่งออกบันทึกไปยังผู้ให้บริการ OpenTelemetry ได้ นอกจากนี้ CPU cores และ GPU ระดับสูงยังมีราคาถูกลง

2 กันยายน 2024วันจันทร์
  1. Cursor Changelog58

    Cursor อธิบายรายละเอียด Shadow Workspace สำหรับการวนซ้ำโค้ด AI เบื้องหลัง

    Cursor ได้พัฒนา shadow workspace ที่ให้ AI ของตนแก้ไขในหน้าต่าง Electron ที่ซ่อนอยู่และอ่านผลลัพธ์ lint กลับมาโดยไม่กระทบเซสชันการแก้ไขของผู้ใช้ โพสต์ดังกล่าวสรุปเป้าหมายการออกแบบด้านความพร้อมใช้งานของ LSP ความเป็นอิสระ ความเป็นส่วนตัว การทำงานพร้อมกัน และความเร็ว และอธิบายว่าทำไมการคัดลอก TextModel หรือการรัน language server แยกต่างหากจึงล้มเหลว นอกจากนี้ยังร่างแนวทาง folder proxy ระดับเคอร์เนลในอนาคตเพื่อความสามารถในการรัน โดยระบุว่า macOS และ Windows ไม่มีเส้นทาง FUSE ที่ใช้งานได้ และการสนับสนุน Rust LSP ในปัจจุบันยังไม่มี

6 สิงหาคม 2024วันอังคาร
  1. Modal Blog42

    Modal ลดราคา CPU และ GPU ลง 15-30%

    Modal ประกาศลดราคา CPU และ GPU รุ่นทรงพลังที่สุดบางรุ่นลง 15-30% โดยให้เหตุผลว่ามีการแข่งขันในกลุ่มผู้จัดหา GPU เพิ่มมากขึ้น และมีการเปิดตัว GPU ที่ทรงพลังกว่าในช่วงหนึ่งปีที่ผ่านมา บริษัทยังเปลี่ยนรูปแบบการคิดค่าบริการ CPU/หน่วยความจำ เป็นคิดตาม max(การจอง, การใช้งานจริง) ต่อคอนเทนเนอร์ที่กำลังทำงาน โดยมีการจองขั้นต่ำเริ่มต้นที่ 0.125 คอร์ CPU สำหรับทุก Functions แพ็กเกจ Team ปรับขึ้นเป็น 250 ดอลลาร์/เดือน พร้อมที่นั่งไม่จำกัดและเครดิต 100 ดอลลาร์/เดือน โดยราคาใหม่จะมีผลในเดือนกันยายนสำหรับผู้ใช้ Starter และ Team/Enterprise ที่ได้รับผลกระทบ

9 กรกฎาคม 2024วันอังคาร
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: การผสานรวม Datadog, การเลือกภูมิภาค, ลดเวลาตอบสนองของฟังก์ชัน

    อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่มการผสานรวม Datadog ที่ส่งต่อบันทึกแอปพลิเคชันและบันทึกการตรวจสอบได้ในคลิกเดียว พร้อมการเลือกภูมิภาคคลาวด์สำหรับฟังก์ชันเพื่อตอบสนองความต้องการด้านกฎระเบียบ ต้นทุนขาออก หรือตำแหน่งฐานข้อมูล บริษัทยังปรับปรุงระบบเรียกฟังก์ชันใหม่เพื่อให้มีปริมาณงานสูงขึ้นโดยมีค่าใช้จ่ายส่วนเกินต่ำลงอย่างมีนัยสำคัญ มุ่งเป้าไปที่เวิร์กโหลดการผลิตแบบเรียลไทม์ที่มีเวลาตอบสนองต่ำ และยกเครื่องหน้ารายละเอียดแอปใหม่ด้วยการซูมตามช่วงเวลา สถานะคอนเทนเนอร์ และมุมมองระบบไฟล์อิมเมจ

7 พฤษภาคม 2024วันอังคาร
  1. Modal Blog18

    อัปเดตผลิตภัณฑ์ Modal: Cloud Bucket Mounts, Okta SSO และอื่นๆ

    อัปเดตผลิตภัณฑ์รายเดือนของ Modal เพิ่ม writable mounts สำหรับบัคเก็ต AWS S3 และ Cloudflare R2, decorator @web_server สำหรับโฮสต์เว็บเซิร์ฟเวอร์ที่ไม่ใช่ ASGI/WSGI บนพอร์ตที่กำหนด และ Okta single sign-on สำหรับผู้ใช้แผนองค์กร ตัวดู volume ในเว็บแดชบอร์ดให้ผู้ใช้สำรวจระบบไฟล์ของ volume และไคลเอนต์เวอร์ชันล่าสุดเพิ่มการประกอบแอปหลายไฟล์ผ่าน .include, คิวแบบ partitioned และการรองรับ stdin สำหรับ Sandboxes

27 กุมภาพันธ์ 2024วันอังคาร
  1. Modal Blog38

    Modal เพิ่มการรองรับ WebSocket สำหรับแอปแบบเรียลไทม์

    Modal รองรับการเชื่อมต่อ WebSocket แล้ว ทำให้ฟังก์ชันบนแพลตฟอร์มสามารถคงการเชื่อมต่อแบบสองทิศทางที่ต่อเนื่องระหว่างไคลเอนต์และเซิร์ฟเวอร์ แทนที่จะเป็นการเชื่อมต่อ HTTP ต่อคำขอ แต่ละการเชื่อมต่อ WebSocket นับเป็นอินพุตหนึ่งรายการ ดังนั้นฟังก์ชันที่ไม่ถูกจำกัดด้วย CPU/GPU ควรอนุญาตให้มีอินพุตพร้อมกัน หรือ Modal จะสร้างคอนเทนเนอร์ใหม่ต่อการเชื่อมต่อหนึ่งครั้ง Modal ปรับขนาดตัวจัดการ WebSocket โดยอัตโนมัติ มุ่งเป้าไปที่การสตรีมแบบเรียลไทม์ การอัปเดตความคืบหน้าของงานที่ใช้เวลานาน และการโฮสต์เฟรมเวิร์กอย่าง ComfyUI, Streamlit และ Gradio

15 กุมภาพันธ์ 2024วันพฤหัสบดี
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: รองรับ WebSocket, คำสั่งแบบอินเทอร์แอกทีฟ และ GPU H100

    Modal ได้เพิ่มการรองรับ WebSocket ให้กับฟังก์ชันของตน ทำให้สามารถโฮสต์เฟรมเวิร์กอย่าง Streamlit ได้แบบพร้อมใช้ พร้อมทั้งคำสั่งแบบอินเทอร์แอกทีฟผ่าน `modal container exec` สำหรับตรวจสอบและดีบักคอนเทนเนอร์ที่กำลังทำงานอยู่ ขณะนี้ GPU H100 พร้อมใช้งานบน Modal แล้ว และการอัปเดตไคลเอนต์ได้เพิ่ม lifecycle hooks `@build` การคอมมิตเบื้องหลังอัตโนมัติสำหรับ Volumes และคำสั่ง CLI ที่ขยายเพิ่มเติม ได้แก่ get, put และ rm

6 กุมภาพันธ์ 2024วันอังคาร
  1. Modal Blog38

    Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA H100

    Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA H100 ในราคา 7.65 ดอลลาร์ต่อชั่วโมงต่อ GPU ผลทดสอบของ NVIDIA แสดงว่า H100 ให้ความเร็วในการฝึกสูงสุดถึง 4 เท่า และความเร็วในการอนุมานสูงสุดถึง 30 เท่าเมื่อเทียบกับ A100 พร้อม DRAM บนชิป 80 GB และเชื่อมต่อ GPU ได้สูงสุด 8 ตัวผ่าน NVLink ที่ 3.6 TB/s ผู้ใช้เปิดใช้งานได้โดยตั้งค่า "H100" เป็นประเภท GPU ใน Modal decorator