ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#ระบบนิเวศโอเพนซอร์ส
16 กันยายนวันพุธ
  1. Mistral AI55

    Mistral จับมือ Mozilla ขับเคลื่อน Firefox Smart Window ในฝรั่งเศสและอเมริกาเหนือ

    Mistral ประกาศความร่วมมือกับ Mozilla โดยโมเดลของบริษัทเป็นผู้ขับเคลื่อน Firefox Smart Window (เบต้า) ผู้ช่วยท่องเว็บด้วย AI ของ Mozilla สำหรับผู้ใช้ในฝรั่งเศสและอเมริกาเหนือ โดยคาดว่าจะเปิดให้บริการในสหราชอาณาจักรและเยอรมนีภายในปีนี้ Mistral ระบุว่าบทสนทนาใน Smart Window จะไม่ถูกบันทึกบนเซิร์ฟเวอร์ของ Mozilla โดยค่าเริ่มต้น และพันธมิตรตกลงที่จะไม่เก็บข้อมูลใดๆ (zero data retention) พร้อมมองว่าดีลนี้เป็นการนำโมเดลแบบ open-weight ที่ปรับแต่งเฉพาะภูมิภาคมาสู่การท่องเว็บสำหรับผู้บริโภค

14 กันยายนวันจันทร์
  1. Modal Blog40

    อัปเดตผลิตภัณฑ์ Modal: Sandbox Sidecars, รองรับ Kimi K3 และ GLM 5.3, แดชบอร์ดใหม่

    Modal เพิ่มการรองรับแบบ day-zero สำหรับโมเดล open-weight สี่ตัว ได้แก่ Kimi K3, Qwen3.8-2.4T-A95B, GLM-5.3 และ GLM-5.3-Flash บน Auto Endpoints โดย Kimi K3 ทำงานที่ 460 โทเคนต่อวินาทีบนงาน agentic ผ่าน DFlash speculator แบบกำหนดเอง Sandbox Sidecars เข้าสู่ public alpha, VM Sandboxes ถึง public beta และตัวคูณราคาภูมิภาคกว้างลดลงจาก 1.5x เป็น 1.15x แดชบอร์ดได้รับการปรับปรุงใหม่พร้อม light mode beta และมีการเปิดตัว Python SDK 1.5.5 รวมถึง JavaScript และ Go SDK 0.10.0

18 สิงหาคมวันอังคาร
  1. LiveKit Blog40

    LiveKit: หุ่นยนต์หลายผู้เข้าร่วมเกินกว่าการเชื่อมต่อแบบ 1:1

    LiveKit กำลังขยายสถาปัตยกรรม SFU ของตนให้เกินกว่าลิงก์แบบ peer-to-peer เดี่ยว เพื่อให้การติดตั้งหุ่นยนต์สามารถรันเซสชันหลายผู้เข้าร่วมได้ โดย Room อนุญาตให้แต่ละกล้อง โมเดล ผู้ควบคุม หรือบริการเข้าร่วมเป็นผู้เข้าร่วมของตัวเอง LiveKit อธิบายสถาปัตยกรรมสามแบบ: การบันทึกข้อมูลแบบ human-in-the-loop ที่มีหุ่นยนต์ นโยบาย ผู้ควบคุม และเครื่องบันทึกอยู่ในเซสชันเดียว; การจัดการทักษะที่นำทางด้วย VLM ซึ่งโมเดลภาพ-ภาษาเลือกทักษะที่ประมาณ 1 Hz ขณะที่ผู้เข้าร่วมนโยบายแยกต่างหากควบคุมหุ่นยนต์ที่ระดับหลายสิบเฮิรตซ์; และการยกระดับนโยบาย ซึ่งโมเดลรางวัลที่ 30 Hz หรือสูงกว่าจะตั้งค่าสถานะที่ติดขัดหรือไม่ปลอดภัย และหุ่นยนต์จะเพิกถอนอำนาจจากนโยบายเฉพาะทาง

13 สิงหาคมวันพฤหัสบดี
  1. MiniMax Blog71

    MiniMax เปิดตัว Music 3.0 โมเดลสร้างเพลงแบบ open-weights สำหรับเพลงเต็มความยาวสูงสุดห้านาที

    MiniMax เปิดตัว Music 3.0 โมเดลสร้างเพลงแบบ open-weights ที่สามารถแต่งเพลง เรียบเรียง และผลิตเพลงที่สมบูรณ์ความยาวสูงสุดห้านาทีจากแนวคิดสร้างสรรค์และเนื้อเพลงเสริม (ถ้ามี) ในการสร้างครั้งเดียว ไปป์ไลน์นี้จับคู่ Global LLM ขนาด 8B ที่เริ่มต้นจาก Qwen3.5-8B กับ Local LLM ขนาด 0.6B หลอมรวม continuous hidden states ของทั้งสองเพื่อเป็นเงื่อนไขให้โมดูล flow-matching ขนาด 2.4B และ Flow-VAE ขนาด 123M และใช้ RVQ แปดชั้นพร้อม Structured Captions ที่อธิบายอารมณ์ เครื่องดนตรี และการขับร้องตามช่วงเวลา MiniMax กล่าวว่าสิ่งนี้ทำให้ตีความเจตนาเชิงสร้างสรรค์ได้แม่นยำขึ้น การเรียบเรียงเต็มอิ่มขึ้น และเสียงร้องชัดเจนเป็นธรรมชาติมากขึ้น

    ทำไมเรื่องนี้สำคัญ: การแจกแจงสถาปัตยกรรมของ MiniMax แสดงให้เห็นว่า Global LLM ขนาด 8B ที่จับคู่กับโมเดล local ขนาด 0.6B และสแต็ก flow-matching มุ่งเป้าแก้ปัญหาความต่อเนื่องของเพลงยาวอย่างไร

4 สิงหาคมวันอังคาร
  1. Modal Blog34

    Modal ย้าย Serverless Functions ไปยังระนาบ I/O ระดับภูมิภาค ลด latency p50 ลงประมาณ 80ms

    Modal ได้ย้าย Functions ทั้งหมดไปยังระนาบ I/O แบบกระจายตามภูมิศาสตร์ใหม่ ทำให้ latency ของ Function Call แบบ end-to-end ลดลงประมาณ 80ms ที่ p50 ก่อนหน้านี้ inputs และ outputs ของทุก Function ถูกส่งผ่านเซิร์ฟเวอร์ I/O ใน us-east ทำให้เพิ่มเวลาสูงถึงหลาย 100ms ต่อการเรียก ระนาบใหม่พร้อมใช้งานใน ≥4 ภูมิภาค และเลือกได้ผ่านแฟล็ก routing_region ชั้นเซิร์ฟเวอร์ถูกเขียนใหม่ใน Go โดยย้ายงานที่ไม่สำคัญออกจาก hot path

27 กรกฎาคมวันจันทร์
  1. Modal Blog75

    Kimi K3 ของ Moonshot เปิดให้ใช้งานบน Modal แล้ว พร้อมรองรับ vLLM ตั้งแต่วันแรก

    Modal เปิดให้ Kimi K3 ของ Moonshot ใช้งานได้บนแพลตฟอร์มของตนในวันเปิดตัว โดยเสนอโมเดลมัลติโหมดัลขนาด 2.8 ล้านล้านพารามิเตอร์ที่มีหน้าต่างบริบท 1M โทเคน ผ่าน Shared API ที่คิดราคาตามโทเคนและ Auto Endpoints แบบเฉพาะ Modal ระบุว่า DFlash speculator แบบกำหนดเองที่ปรับให้เข้ากับสถาปัตยกรรมของ K3 ช่วยเพิ่มความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที และปริมาณงานจาก 800k เป็น 1.5 ล้าน TPM ต่อ GPU ในงานเอเจนติก โมเดลนี้ใช้การออกแบบ mixture-of-experts โดยมี 16 จาก 896 experts ทำงานต่อโทเคน และ Moonshot ได้ร่วมพัฒนา prefix-caching รูปแบบใหม่ให้กับ vLLM ก่อนการเปิดตัว

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายรายละเอียดว่าตนนำ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์ของ Moonshot ขึ้นแพลตฟอร์มในวันเปิดตัวได้อย่างไร รวมถึง DFlash speculator แบบกำหนดเองที่ยกระดับความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที

23 มิถุนายนวันอังคาร
  1. Modal Blog60

    Modal เปิดตัว Auto Endpoints สำหรับการอนุมาน LLM แบบเซลฟ์เซอร์วิสที่เข้ากันได้กับ OpenAI API

    Modal เปิดตัว Auto Endpoints ซึ่งเป็นบริการเซลฟ์เซอร์วิสที่ปรับใช้การอนุมาน LLM ระดับโปรดักชันเป็นเอนด์พอยต์ที่เข้ากันได้กับ OpenAI API โดยมี Modal App เป็นแบ็กเอนด์ที่ผู้ใช้มองเห็นและควบคุมได้ แต่ละโมเดลที่รองรับมาพร้อมกับการปรับใช้เริ่มต้นที่ปรับแต่งจาก benchmarking ของ Modal เอง โดยใช้เอนจินเช่น SGLang และ DFlash speculative decoding drafter จาก Z Lab และผู้ใช้สามารถตรวจสอบการเลือก GPU, แฟล็กเอนจิน และเมตริกการอนุมานเช่น TTFT, ITL และ speculative decoding acceptance length นอกจากนี้ Modal ยังเปิดตัว Modal Servers จากเบต้าสำหรับการกำหนดเส้นทางแบบภูมิภาคด้วยโอเวอร์เฮด 5ms และระบุว่าสร้างการปรับใช้เอนด์พอยต์ด้วยระบบเอเจนติกภายในที่ยังคงมีวิศวกรมนุษย์ตรวจสอบ

    ทำไมเรื่องนี้สำคัญ: Auto Endpoints ของ Modal เปิดเผยสแตกการเสิร์ฟ เมตริกเอนจิน และสูตร benchmarking ที่ผู้ให้บริการการอนุมานแบบจัดการมักปิดไว้ ทำให้ทีมต่างๆ มีเส้นทางเซลฟ์เซอร์วิสสู่การเป็นเจ้าของการอนุมานโมเดลเปิด

19 มิถุนายนวันศุกร์
  1. Modal Blog60

    Modal ปล่อย DFlash speculators สำหรับ Qwen 3.5 และ 3.6 อ้างเพิ่มความเร็วได้อีก 5-20%

    Modal ปล่อยชุดโมเดล draft DFlash สำหรับซีรีส์ Qwen บน Hugging Face รวมถึง Qwen 3.6 35B-A3B-DFlash และ Qwen 3.5 หลายขนาดตั้งแต่ 4B ถึง 122B-A10B พร้อม DFlash speculator สำหรับ Qwen 3.5 397B-A17B ที่สร้างด้วย SGLang บริษัทระบุว่า drafter ใหม่เพิ่มความเร็ว 5-20% เหนือ baseline DFlash ที่มีอยู่ และสามารถรัน Qwen 3.5 122B-A10B ได้เกิน 1000 tok/s ที่ concurrency 1 บนโหนด B200 เทียบกับ 250 tok/s เมื่อไม่ใช้ speculation โพสต์โต้ว่า speculative decoding ให้ผลตอบแทน 2x-3x ในจุดที่การปรับ kernel ให้เพียงไม่กี่เปอร์เซ็นต์ และนำเสนอ roofline model สำหรับประเมินความเร็วที่ได้จาก acceptance length

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายเหตุผลที่เดิมพันกับ speculative decoding และปล่อยโมเดล draft DFlash สำหรับซีรีส์ Qwen พร้อมความเร็วที่วัดได้และ roofline model สำหรับประเมินผลตอบแทน

11 มิถุนายนวันพฤหัสบดี
  1. Modal Blog34

    Modal ทำให้ FlashAttention-4 เร็วขึ้นสำหรับการอนุมาน LLM

    Modal ได้มีส่วนร่วมในการปรับแต่งเคอร์เนล FlashAttention-4 เพื่อเร่งความเร็วเวิร์กโหลดการอนุมาน LLM ที่เน้นการถอดรหัส ซึ่งแบนด์วิดท์หน่วยความจำเป็นคอขวด การเปลี่ยนแปลงรวมถึงการพอร์ตเทคนิคความขนานแบบ "split KV" ไปยัง FA4 และแทนที่การโหลด TMA cp.async.bulk ด้วย cp.async สำหรับการเข้าถึงหน่วยความจำที่ไม่สม่ำเสมอ PR อินพุต FP8 (ผสานเมื่อ 17 เมษายน 2026) ให้ปริมาณงานสูงสุดถึง 1.16 เท่าเมื่อเทียบกับพื้นฐาน bf16 และช่วยให้แคช KV เล็กลงได้

1 มิถุนายนวันจันทร์
  1. MiniMax Blog87

    MiniMax M3 เปิดตัวพร้อมบริบท 1M การเขียนโค้ดระดับแนวหน้าและมัลติโมดัลแบบเนทีฟ

    MiniMax เปิดตัว M3 โมเดลน้ำหนักเปิดที่บริษัทกล่าวว่าเป็นตัวแรกที่รวมความสามารถด้านการเขียนโค้ดระดับแนวหน้าและประสิทธิภาพแบบเอเจนต์ หน้าต่างบริบท 1M โทเคน และการรับข้อมูลภาพและวิดีโอแบบเนทีฟ M3 ใช้สถาปัตยกรรม MSA sparse attention ใหม่ของ MiniMax ซึ่งบริษัทรายงานว่าลดการคำนวณต่อโทเคนที่บริบท 1M เหลือ 1/20 ของรุ่นก่อนหน้า และเร่ง prefill ได้มากกว่า 9 เท่าและการถอดรหัสมากกว่า 15 เท่า ทำคะแนนได้ 59.0% บน SWE-Bench Pro, 66.0% บน Terminal-Bench 2.1 และ 74.2% บน MCP Atlas และพร้อมใช้งานผ่าน MiniMax Code, Token Plan และ API โดยสัญญาว่าจะเปิดน้ำหนักและรายงานทางเทคนิคภายใน 10 วัน

    ทำไมเรื่องนี้สำคัญ: MiniMax M3 รวมบริบท 1M โทเคน คะแนนการเขียนโค้ดระดับแนวหน้าและแบบเอเจนต์ และการรับข้อมูลภาพและวิดีโอแบบเนทีฟไว้ในโมเดลน้ำหนักเปิดเดียว โดย MSA ลดการคำนวณต่อโทเคนที่บริบทยาว

4 พฤษภาคมวันจันทร์
  1. Modal Blog36

    Modal เพิ่มประสิทธิภาพการอนุมานมัลติโหมดของ SGLang ขึ้นกว่า 10% ด้วยแคช Python dict

    Modal ได้ทำโปรไฟล์ตัวจัดตารางของ SGLang บนงานมัลติโหมด และแทนที่การจัดการ CUDA IPC handle ซ้ำๆ ด้วยแคช Python dict อย่างง่าย ทำให้ปริมาณงานเพิ่มขึ้น 16.2% และลดค่าเฉลี่ย TTFT ลง 13.2% และ TPOT 17.2% บน Qwen2.5-VL-3B-Instruct บน H100 การแก้ไขนี้ถูกรวมใน SGLang v0.5.10 แล้ว

11 กุมภาพันธ์วันพุธ
  1. Modal Blog78

    Modal เปิดตัว GLM-5 endpoint ฟรี พร้อมเผยแพร่คู่มือการติดตั้งใช้งานเองและการเชื่อมต่อฝั่งฟรอนต์เอนด์

    Modal เปิดตัว endpoint ที่รองรับ OpenAI API ของ GLM-5 แบบฟรี ใช้งานได้ถึงสิ้นเดือนเมษายน จำกัดการร้องขอแบบทีละ concurrence พร้อมเผยแพร่โค้ดที่ทำซ้ำได้สำหรับการติดตั้งใช้งานด้วย SGLang บนโหนดเดียวกับการ์ด B200 จำนวน 8 ใบ

    ทำไมเรื่องนี้สำคัญ: Modal ให้บริการ endpoint ที่รองรับ OpenAI สำหรับ GLM-5 ของ Z.ai แบบฟรี พร้อมระบุการตั้งค่าเฉพาะสำหรับการเชื่อมต่อใน OpenCode, OpenClaw, Claude Code และ Vercel AI SDK

2 ธันวาคม 2025วันอังคาร
  1. Modal Blog42

    Modal เพิ่มการรองรับ Day 0 สำหรับ Mistral 3 พร้อม GPU snapshotting เพื่อเริ่มต้นแบบเย็นเร็วขึ้น 10 เท่า

    Modal ให้การรองรับ Day 0 สำหรับ Mistral 3 แล้ว ช่วยให้นักพัฒนาสามารถปรับใช้ตระกูลโมเดลเปิดบน GPU แบบเซิร์ฟเวอร์เลสได้โดยไม่ต้องจัดการโครงสร้างพื้นฐาน บนโมเดล 3B Ministral 3 ฟีเจอร์ GPU snapshotting ของ Modal ลดเวลาการเริ่มต้นแบบเย็นมัธยฐานจากประมาณ 118 วินาที เหลือประมาณ 12 วินาที ลดลงเกือบ 10 เท่า Ministral 3 มีขนาด 3B, 8B และ 14B และมีประสิทธิภาพเทียบเคียงได้กับซีรีส์ Qwen 3-VL บนเบนช์มาร์ก

18 พฤศจิกายน 2025วันอังคาร
  1. Modal Blog36

    บล็อก Modal: Host Overhead กำลังทำลายประสิทธิภาพการอนุมานของคุณ

    บล็อกของ Modal อธิบายว่า host overhead ซึ่งเป็นช่วงที่ GPU ว่างรอ CPU เตรียมงาน ปรากฏเป็นการใช้งาน GPU kernel ที่ต่ำในการอนุมาน AI เมื่อ host overhead อยู่ที่ 50% ต้นทุนการอนุมานด้วย GPU จะสูงเป็น 2 เท่าของที่ควรจะเป็น บทความระบุรายละเอียดการแก้ไขที่ใช้ในเอนจินการอนุมานแบบโอเพนซอร์สในสภาพแวดล้อมการผลิต รวมถึงการสร้างเทนเซอร์บนอุปกรณ์แทนการถ่ายโอน และการลดการเรียกใช้ CUDA kernel ที่ไม่จำเป็น

4 พฤศจิกายน 2025วันอังคาร
  1. Modal Blog58

    Modal, Pipecat และโมเดลเปิดผสานได้ความหน่วงเสียงต่อเสียงหนึ่งวินาที

    Ben Shababo จาก Modal อธิบายขั้นตอนการสร้างบอตเสียงสนทนาบน Modal ด้วยเฟรมเวิร์กโอเพนซอร์ส Pipecat และโมเดลน้ำหนักเปิด ทำได้ค่ามัธยฐานความหน่วงเสียงต่อเสียงประมาณหนึ่งวินาทีเมื่อไคลเอนต์และคอนเทนเนอร์อยู่ใกล้กันทางภูมิศาสตร์ไปป์ไลน์ใช้ NVIDIA parakeet-tdt-0.6b-v3 สำหรับ STT, Qwen3-4B-Instruct-2507 ให้บริการด้วย vLLM, KokoroTTS สำหรับเอาต์พุตเสียง และ ChromaDB กับ all-minilm-l6-v2 สำหรับ RAG บนเอกสารของ Modal โดย Modal Tunnels ข้ามระนาบอินพุตเพื่อเชื่อมต่อ WebSocket และ HTTP ความหน่วงต่ำไปยังบริการ STT, TTS และ vLLM ขณะที่ FunctionCall ที่ผูกกับแต่ละเซสชันสนทนาช่วยกู้คืนการสเกลอัตโนมัติ และการปักหมุดบริการไปยังภูมิภาคใกล้เคียงช่วยลดความหน่วงเครือข่าย

30 ตุลาคม 2025วันพฤหัสบดี
  1. Modal Blog38

    Modal และ Datalab: ปรับใช้ Marker และ Surya Document Intelligence ได้ในไม่ถึง 5 นาที

    Modal ได้ร่วมมือกับ Datalab เพื่อให้นักพัฒนาสามารถปรับใช้โมเดลแยกวิเคราะห์เอกสาร Marker และชุดเครื่องมือ OCR Surya บน GPU ของ Modal ได้ในไม่ถึงห้านาที Marker เป็นโมเดลที่มีพารามิเตอร์ต่ำกว่าหนึ่งพันล้าน รองรับมากกว่า 90 ภาษา และเมื่อรันบน Modal จะได้ความเร็วประมาณ 2.2 หน้าต่อวินาทีต่อคอนเทนเนอร์ ซึ่งเร็วกว่าประมาณ 10 เท่าเมื่อเทียบกับ 0.22 หน้าต่อวินาทีบน M4 Mac ที่ใช้ Apple MPS เครื่องมือของ Datalab ยังคงใช้งานฟรีสำหรับการวิจัย การใช้งานส่วนบุคคล และสตาร์ทอัพที่มีเงินทุนหรือรายได้ต่ำกว่า 2 ล้านดอลลาร์ โดยมีสัญญาอนุญาตเชิงพาณิชย์ให้เลือกใช้

23 กรกฎาคม 2025วันพุธ
  1. Modal Blog52

    Modal เปิดตัวโมเดล ASR สำหรับถอดเสียงแบบแบตช์ด้วยความเร็วและต้นทุนที่ดีขึ้น 100 เท่า

    Modal ได้พัฒนาบริการถอดเสียงแบบแบตช์บนแพลตฟอร์มของตนโดยใช้ parakeet-tdt-0.6b-v2 และ canary-1b-flash ของ NVIDIA โดยรายงานว่าประสิทธิภาพแบบ end-to-end เร็วกว่า 100 เท่าหรือถูกกว่า 100 เท่าเมื่อเทียบกับ API ASR เชิงพาณิชย์ยอดนิยม ขณะที่อัตราความผิดพลาดใกล้เคียงกันกับเสียงทดสอบ ESB ประมาณหนึ่งสัปดาห์ ทีมงานระบุว่าประสิทธิภาพที่ดีขึ้นนี้มาจากการสลับไฟล์ระหว่างชุดคำขอ การเรียงลำดับเสียงตามความยาวภายในชุด GPU การดาวน์โหลดแบบขนาน และการเลือกการกำหนดค่า GPU และ worker จากข้อมูลเชิงประจักษ์ บทความอธิบายสถาปัตยกรรมและขั้นตอนการปรับแต่งเพื่อให้ผู้อื่นสามารถสร้างบริการที่คล้ายกันได้

11 กรกฎาคม 2025วันศุกร์
  1. Modal Blog31

    Jamsocket เข้าร่วมกับ Modal

    Jamsocket แพลตฟอร์มแบ็กเอนด์เบื้องหลังออร์เคสเตรเตอร์โอเพนซอร์สอย่าง Plane, Y-Sweet และ ForeverVM กำลังเข้าร่วมกับ Modal โดยผู้ร่วมก่อตั้ง Paul Butler และ Taylor Baldwin จะเข้าร่วมทีม Modal ผลิตภัณฑ์ของ Jamsocket จะยังคงดำเนินงานตามปกติ ขณะที่ฟังก์ชันหลักกำลังถูกย้ายไปยัง Modal ซึ่งผู้ก่อตั้งกล่าวว่าช่วยให้ลูกค้าที่เน้น AI สามารถดีพลอย GPU inference, code sandboxes และแบ็กเอนด์แบบเรียลไทม์จากแพลตฟอร์มเดียว

9 มิถุนายน 2025วันจันทร์
  1. Modal Blog40

    Modal 1.0 เปิดตัว: Python SDK ที่เสถียรยิ่งขึ้นพร้อมการกำหนดค่าที่ชัดเจน

    Modal ได้เปิดตัวเวอร์ชัน 1.0 ของไคลเอนต์ Python SDK ซึ่งเป็นหมุดหมายที่บริษัทกล่าวว่าจะนำมาซึ่งความสมบูรณ์และความเสถียรในระดับใหม่ให้กับแพลตฟอร์มคลาวด์คอมพิวต์แบบเซิร์ฟเวอร์เลส โดยคาดว่าจะมีการเปลี่ยนแปลงที่ทำให้เกิดการแตกหักน้อยลงมากในอนาคต การเปิดตัวนี้ได้ลบพฤติกรรมแบบ "เวทมนตร์" เช่นการเมานต์แพ็กเกจในเครื่องโดยอัตโนมัติ แยกฟังก์ชันหลักออกเป็นเดคอเรเตอร์แยกต่างหาก เช่น @modal.concurrent ใหม่ และรวมการจัดการไฟล์ในเครื่องไว้ภายใต้คลาส modal.Image นอกจากนี้ Modal ยังวางแผนที่จะมี SDK สำหรับภาษาอื่นๆ และกำลังสำรวจว่าแพลตฟอร์มควรให้บริการเวิร์กโฟลว์เอเจนต์ที่ขับเคลื่อนด้วย AI อย่างไร

22 พฤษภาคม 2025วันพฤหัสบดี
  1. Vapi Blog20

    10 เครื่องมือถอดเสียงทางการแพทย์แบบโอเพนซอร์สที่ดีที่สุด

    คู่มือจัดอันดับโมเดลถอดเสียงแบบโอเพนซอร์ส 10 รายการสำหรับการใช้งานทางคลินิก โดยประเมินจากความแม่นยำแบบเรียลไทม์ การจัดการศัพท์ทางการแพทย์ ความน่าเชื่อถือในการปฏิบัติงาน และความปลอดภัยของข้อมูล รายการครอบคลุม Vosk, DeepSpeech, SpeechBrain, OpenAI Whisper และ ESPnet ซึ่งจับคู่กับสภาพแวดล้อม เช่น คลินิกชนบทที่มีทรัพยากรจำกัด โรงพยาบาลหลายภาษา และศูนย์วิจัยที่ใช้ศัพท์เฉพาะทางหนัก ทั้งหมดสามารถเชื่อมต่อกับแพลตฟอร์ม AI เสียงแบบไม่ผูกกับโมเดลของ Vapi

20 พฤษภาคม 2025วันอังคาร
  1. Modal Blog34

    Modal ยกระดับขีดจำกัดที่เก็บข้อมูล KV แบบเซิร์ฟเวอร์เลส Dict เป็นไม่จำกัด พร้อมระบบล็อกใหม่

    Modal อัปเกรดที่เก็บข้อมูลคีย์-แวลูแบบเซิร์ฟเวอร์เลส Dict: Dict ที่สร้างใหม่มีที่เก็บข้อมูลไม่จำกัด แทนขีดจำกัดเดิม 10GiB และการหมดอายุของรายการเปลี่ยนเป็น 7 วันนับจากการเขียนหรืออ่านครั้งล่าสุด แฟล็ก skip_if_exists ใหม่บน .put() ช่วยให้ทำ distributed locking และความหมายแบบ "exactly once" ได้ และ Dict มีความทนทานของข้อมูลแล้ว การเปลี่ยนแปลงนี้ใช้เฉพาะกับ Dict ที่สร้างใหม่เท่านั้น

28 ธันวาคม 2024วันเสาร์
  1. Modal Blog22

    อัปเดตผลิตภัณฑ์ Modal: memory snapshotting เร็วขึ้น, OIDC, คิวงาน async

    Modal เปิดตัวรอบอัปเดตผลิตภัณฑ์ที่นำโดยการอัปเกรดครั้งใหญ่ของฟีเจอร์ memory snapshotting เวอร์ชัน beta ซึ่งระบุว่าสามารถลดเวลา cold start ได้ครึ่งหนึ่งสำหรับโมเดลอย่าง Stable Diffusion แพลตฟอร์มยังเพิ่มการรองรับ OpenID Connect สำหรับโทเค็นระบุตัวตนอายุสั้น, การบีบอัดอิมเมจ eStargz เพื่อให้ build จาก registry อย่าง ECR และ Docker Hub เร็วขึ้น และกำลังขยายคิวงาน async ไปสู่ขีดจำกัดอินพุต 1 ล้านรายการ จากเดิม 2 พันรายการ

24 พฤศจิกายน 2024วันอาทิตย์
  1. Modal Blog22

    Modal ลงนามข้อตกลงความร่วมมือเชิงกลยุทธ์กับ AWS เพื่อ Generative AI ที่เร่งความเร็วด้วย GPU

    Modal ได้ลงนามข้อตกลงความร่วมมือเชิงกลยุทธ์กับ AWS เพื่อช่วยให้ธุรกิจพัฒนาและปรับใช้ผลิตภัณฑ์ AI ได้เร็วขึ้นบนแพลตฟอร์มเซิร์ฟเวอร์เลสสำหรับงานที่เร่งความเร็วด้วย GPU ซึ่งสามารถเปิดคอนเทนเนอร์ที่ใช้ GPU ได้ภายในเวลาเพียงหนึ่งวินาที ตามข้อตกลง Modal จะลงทะเบียนใน AWS Marketplace และลงทุนในการผสานรวมต่างๆ เช่น AWS PrivateLink เพื่อให้บริการลูกค้าที่มีความต้องการด้านความปลอดภัยและความเป็นส่วนตัวเฉพาะ

14 มีนาคม 2024วันพฤหัสบดี
  1. Modal Blog36

    modal-http ของ Modal: ให้บริการฟังก์ชันเว็บบนโครงสร้างพื้นฐานแบบเซิร์ฟเวอร์เลส

    Modal สร้าง modal-http ซึ่งเป็นสแต็ก HTTP และ WebSocket ที่ทำให้ฟังก์ชันเซิร์ฟเวอร์เลสของตนรับคำขอเว็บได้ โดยเพิ่งรองรับ WebSocket อย่างสมบูรณ์ ต่างจากข้อจำกัด 15 นาทีและ 50 MB ของ AWS Lambda คอนเทนเนอร์ของ Modal ใช้ได้ถึง 64 CPU, หน่วยความจำ 336 GB และ GPU Nvidia H100 8 ตัว ทีมจึงแปลง HTTP เป็นการเรียกฟังก์ชันแทนการวางรีเวิร์สพร็อกซีแบบดั้งเดิมไว้หน้าคอนเทนเนอร์

27 กุมภาพันธ์ 2024วันอังคาร
  1. Modal Blog38

    Modal เพิ่มการรองรับ WebSocket สำหรับแอปแบบเรียลไทม์

    Modal รองรับการเชื่อมต่อ WebSocket แล้ว ทำให้ฟังก์ชันบนแพลตฟอร์มสามารถคงการเชื่อมต่อแบบสองทิศทางที่ต่อเนื่องระหว่างไคลเอนต์และเซิร์ฟเวอร์ แทนที่จะเป็นการเชื่อมต่อ HTTP ต่อคำขอ แต่ละการเชื่อมต่อ WebSocket นับเป็นอินพุตหนึ่งรายการ ดังนั้นฟังก์ชันที่ไม่ถูกจำกัดด้วย CPU/GPU ควรอนุญาตให้มีอินพุตพร้อมกัน หรือ Modal จะสร้างคอนเทนเนอร์ใหม่ต่อการเชื่อมต่อหนึ่งครั้ง Modal ปรับขนาดตัวจัดการ WebSocket โดยอัตโนมัติ มุ่งเป้าไปที่การสตรีมแบบเรียลไทม์ การอัปเดตความคืบหน้าของงานที่ใช้เวลานาน และการโฮสต์เฟรมเวิร์กอย่าง ComfyUI, Streamlit และ Gradio