Chai Discovery ใช้ Modal เพื่อรันไปป์ไลน์การค้นพบยาด้วยแมชชีนเลิร์นนิง ตั้งแต่การฝังโปรตีนและการจัดเรียงลำดับหลายสาย ไปจนถึงการออกแบบแอนติบอดี Modal Volumes ดาวน์โหลดและจัดทำดัชนีชุดข้อมูลที่มีขนาดหลายร้อยกิกะไบต์เพียงครั้งเดียว แล้วแชร์ข้ามเครื่อง ขณะที่การขยาย GPU แบบยืดหยุ่นสามารถเปิด GPU หลายร้อยตัวได้ภายในไม่กี่นาที Chai กล่าวว่าการตั้งค่าเดียวกันนี้ теперьนำเวิร์กโฟลว์การวิจัยเข้าสู่การผลิตโดยไม่ต้องเขียนโครงสร้างพื้นฐานใหม่
OpenAI เปิดตัว Model Context Protocol (MCP) server แบบสาธารณะที่ให้เอเจนต์เข้าถึงเอกสารนักพัฒนาแบบอ่านอย่างเดียวจาก developers.openai.com, platform.openai.com และ learn.chatgpt.com เซิร์ฟเวอร์นี้มีไว้สำหรับเอกสารเท่านั้นและไม่เรียก OpenAI API แทนผู้ใช้ นักพัฒนาสามารถเพิ่มลงใน Codex ผ่าน CLI หรือส่วนขยาย IDE ด้วยการกำหนดค่าร่วมชุดเดียว และใช้ร่วมกับ OpenAI Docs Skill เพื่อให้ได้คำตอบที่อ้างอิงแหล่งที่มา
Modal ได้ขยายพูล GPU worker แบบหลายคลาวด์เกิน 20,000 GPU พร้อมกัน และเปิดตัวอินสแตนซ์คลาวด์มากกว่าสี่ล้านตัวในช่วงสองปีที่ผ่านมา ตอนนี้จึงเปิดเผยระบบความน่าเชื่อถือเบื้องหลัง บทความครอบคลุมการทดสอบและเลือกประเภทอินสแตนซ์ การเตรียม machine image และการตรวจสอบการบูต การตรวจสุขภาพ GPU แบบพาสซีฟและแอคทีฟ และการสังเกตการณ์และการสนับสนุน โดยรายงานความแตกต่างระหว่างผู้ให้บริการไฮเปอร์สเกล เช่น Cloud A มีอัตราการบูตสำเร็จ 99.6% และ Cloud C มี H100 ทำงานที่อุณหภูมิเกิน 90ºC ในปี 2025
Vapi เปิดตัว Vapi Voices Beta ซึ่งเป็นกลุ่มโมเดลเสียงที่สร้างขึ้นสำหรับการใช้งาน Voice AI ที่มีปริมาณสูงและคำนึงถึงต้นทุน โดยมีราคา $0.0025 ต่อนาที พร้อมความหน่วงที่ปรับให้เหมาะสมสำหรับการตอบสนองแบบสนทนา โมเดลเหล่านี้ปรากฏในเมนูแบบเลื่อนลงเลือกเสียงที่มีอยู่แล้ว ควบคู่กับผู้ให้บริการอย่าง ElevenLabs, PlayHT และ Deepgram ทำให้ทีมสามารถกำหนดเส้นทางการไหลที่มีปริมาณสูงและความสำคัญต่ำ เช่น การแจ้งเตือนนัดหมายและเมนูการกำหนดเส้นทาง ไปยังโมเดลเหล่านี้ได้โดยไม่ต้องเปลี่ยนแปลงการเชื่อมต่อใดๆ Vapi ระบุว่ากำลังกำหนดเงื่อนไขการเปิดให้ใช้งานทั่วไปจากสิ่งที่การใช้งานเบต้าเผยให้เห็นเกี่ยวกับกรณีการใช้งาน ความหน่วงภายใต้โหลดจริง และว่าการประหยัดนั้นมีความสำคัญหรือไม่
Modal ให้การรองรับ Day 0 สำหรับ Mistral 3 แล้ว ช่วยให้นักพัฒนาสามารถปรับใช้ตระกูลโมเดลเปิดบน GPU แบบเซิร์ฟเวอร์เลสได้โดยไม่ต้องจัดการโครงสร้างพื้นฐาน บนโมเดล 3B Ministral 3 ฟีเจอร์ GPU snapshotting ของ Modal ลดเวลาการเริ่มต้นแบบเย็นมัธยฐานจากประมาณ 118 วินาที เหลือประมาณ 12 วินาที ลดลงเกือบ 10 เท่า Ministral 3 มีขนาด 3B, 8B และ 14B และมีประสิทธิภาพเทียบเคียงได้กับซีรีส์ Qwen 3-VL บนเบนช์มาร์ก
Modal ให้เหตุผลว่าหลักการประสบการณ์นักพัฒนาแบบเดียวกับที่ช่วยมนุษย์—วงจรป้อนกลับที่รวดเร็ว การเข้าถึงผ่านโปรแกรมด้วย CLI/SDK/API ข้อความข้อผิดพลาดที่นำไปใช้ได้จริง และตัวอย่างที่อยู่ใกล้โค้ดอย่างสม่ำเสมอ—ก็ทำให้เอเจนต์เขียนโค้ดเร็วขึ้นเช่นกัน เพราะเอเจนต์วนซ้ำด้วยการสร้างโค้ด รัน และสังเกตผล ข้อผิดพลาดที่คลุมเครือหรือการตั้งค่าผ่าน UI เท่านั้นจึงทำให้เอเจนต์ชะงัก ดังนั้นการออกแบบสำหรับเอเจนต์หมายถึงการใช้หลักการเดียวกัน而非คิดค้นใหม่
Vapi รองรับ structured outputs สำหรับผู้ช่วยเสียง AI ทั้งหมดแล้ว เพื่อให้ทุกการโทรส่งคืนข้อมูลที่ตรงกับ JSON schema ที่นักพัฒนากำหนด สคีมาถูกบังคับใช้ขณะรันไทม์โดยใช้ความสามารถดั้งเดิมของผู้ให้บริการอย่าง OpenAI, Anthropic, Gemini และอื่น ๆ และสามารถนำกลับมาใช้ซ้ำได้กับผู้ช่วยหลายตัว ข้อมูลที่ดึงออกมาจะมาถึงใน webhook เมื่อการโทรเสร็จสิ้นและผ่าน REST API
Replit เปิดตัว Fast Mode ซึ่งเป็นวิธีที่รวดเร็วกว่าในการสั่ง Agent ของตนให้ทำการเปลี่ยนแปลงเล็กๆ น้อยๆ อย่างแม่นยำ โดยทำงานบนโมเดล agentic ที่มีประสิทธิภาพซึ่งประหยัดกว่ามากเมื่อเทียบกับ Build mode และปรับแต่งมาเพื่อทำคำขอให้เสร็จในจำนวนขั้นตอนที่น้อยที่สุด มุ่งเป้าไปที่การแก้ไขด่วน การปรับแต่งภาพ และฟีเจอร์ขนาดเล็ก Fast Mode เปิดให้ผู้ใช้ Replit ทุกคนใช้งานได้ตั้งแต่วันนี้ และเปิดใช้งานผ่านไอคอนสายฟ้า
Reducto ย้ายเวิร์กโหลดการอนุมานสำหรับโมเดลประมวลผลเอกสารกว่า 30 โมเดลไปยัง Modal ทำให้เวลาแฝง P90 ลดลง 3 เท่า การสแนปช็อตหน่วยความจำ GPU ลดเวลาบูตเย็นลง 83% จากประมาณ 70 วินาทีเหลือประมาณ 12 วินาที ขณะที่พูลออโตสเกลแยกตามลูกค้าแต่ละรายช่วยแยกการรับมือกับปริมาณการใช้งานที่พุ่งสูง ในระหว่างการทดสอบโหลด Reducto ขยายไปป์ไลน์การนำเข้าข้อมูลไปยัง GPU กว่า 1,000 ตัวได้ในเวลาไม่ถึงหนึ่งชั่วโมง เพื่อสาธิตความสามารถ 100,000 หน้าต่อนาที
บล็อกของ Modal อธิบายว่า host overhead ซึ่งเป็นช่วงที่ GPU ว่างรอ CPU เตรียมงาน ปรากฏเป็นการใช้งาน GPU kernel ที่ต่ำในการอนุมาน AI เมื่อ host overhead อยู่ที่ 50% ต้นทุนการอนุมานด้วย GPU จะสูงเป็น 2 เท่าของที่ควรจะเป็น บทความระบุรายละเอียดการแก้ไขที่ใช้ในเอนจินการอนุมานแบบโอเพนซอร์สในสภาพแวดล้อมการผลิต รวมถึงการสร้างเทนเซอร์บนอุปกรณ์แทนการถ่ายโอน และการลดการเรียกใช้ CUDA kernel ที่ไม่จำเป็น
Decagon และ Modal ร่วมมือกันสร้าง Decagon Voice 2.0 โดยลด latency ลง 65% พร้อมปรับปรุงการจดจำเจตนาและคุณภาพการตอบสนอง Decagon fine-tune โมเดลโอเพนซอร์สขนาดกะทัดรัดด้วย SFT และ RL เพื่อเอาชนะโมเดล frontier ขนาดใหญ่กว่า ขณะที่ Modal ฝึกโมเดล draft EAGLE3 แบบกำหนดเองซึ่งมี accept length สูงขึ้น 38% และวิศวกรรม SGLang ใหม่ด้วยตัวจัดตาราง speculative decoding แบบ async เพิ่ม throughput ได้ถึง 12%
Ben Shababo จาก Modal อธิบายขั้นตอนการสร้างบอตเสียงสนทนาบน Modal ด้วยเฟรมเวิร์กโอเพนซอร์ส Pipecat และโมเดลน้ำหนักเปิด ทำได้ค่ามัธยฐานความหน่วงเสียงต่อเสียงประมาณหนึ่งวินาทีเมื่อไคลเอนต์และคอนเทนเนอร์อยู่ใกล้กันทางภูมิศาสตร์ไปป์ไลน์ใช้ NVIDIA parakeet-tdt-0.6b-v3 สำหรับ STT, Qwen3-4B-Instruct-2507 ให้บริการด้วย vLLM, KokoroTTS สำหรับเอาต์พุตเสียง และ ChromaDB กับ all-minilm-l6-v2 สำหรับ RAG บนเอกสารของ Modal โดย Modal Tunnels ข้ามระนาบอินพุตเพื่อเชื่อมต่อ WebSocket และ HTTP ความหน่วงต่ำไปยังบริการ STT, TTS และ vLLM ขณะที่ FunctionCall ที่ผูกกับแต่ละเซสชันสนทนาช่วยกู้คืนการสเกลอัตโนมัติ และการปักหมุดบริการไปยังภูมิภาคใกล้เคียงช่วยลดความหน่วงเครือข่าย
Modal เปิดตัว Volumes v2 ในเวอร์ชันเปิดเบต้าสำหรับทุกแอป พร้อมระบบไฟล์ที่สร้างใหม่เพื่อรองรับทรูพุตที่สูงขึ้น การเข้าถึงแบบสุ่มที่เร็วขึ้น และการเขียนแบบไฮคอนเคอเรนซีอย่างแท้จริงจากหลายร้อยคอนเทนเนอร์ อีกทั้งไม่จำกัดจำนวนไฟล์ที่จัดเก็บ ขณะที่ SDK JavaScript/TypeScript และ Go ก็เข้าสู่เบต้าที่เวอร์ชัน v0.5 เพิ่มออบเจ็กต์ Client แบบรวมศูนย์ และรองรับ Sandboxes, Functions, Images และ Volumes
Modal ได้ร่วมมือกับ Datalab เพื่อให้นักพัฒนาสามารถปรับใช้โมเดลแยกวิเคราะห์เอกสาร Marker และชุดเครื่องมือ OCR Surya บน GPU ของ Modal ได้ในไม่ถึงห้านาที Marker เป็นโมเดลที่มีพารามิเตอร์ต่ำกว่าหนึ่งพันล้าน รองรับมากกว่า 90 ภาษา และเมื่อรันบน Modal จะได้ความเร็วประมาณ 2.2 หน้าต่อวินาทีต่อคอนเทนเนอร์ ซึ่งเร็วกว่าประมาณ 10 เท่าเมื่อเทียบกับ 0.22 หน้าต่อวินาทีบน M4 Mac ที่ใช้ Apple MPS เครื่องมือของ Datalab ยังคงใช้งานฟรีสำหรับการวิจัย การใช้งานส่วนบุคคล และสตาร์ทอัพที่มีเงินทุนหรือรายได้ต่ำกว่า 2 ล้านดอลลาร์ โดยมีสัญญาอนุญาตเชิงพาณิชย์ให้เลือกใช้
Vapi มอบสิทธิ์เข้าถึงโมเดล Sonic-3 TTS ที่เพิ่งเปิดตัวของ Cartesia แบบฟรีและไม่จำกัดให้กับชุมชนของตนผ่านคีย์ API ที่จัดการโดย Vapi ตั้งแต่วันที่ 28 ตุลาคมถึง 2 พฤศจิกายน Sonic-3 เพิ่มแท็กอารมณ์และเสียงหัวเราะ การควบคุมความเร็วและระดับเสียงอย่างละเอียด และรองรับ 27 ภาษาใหม่ Vapi แนะนำให้เริ่มต้นด้วยเสียง Kira และ Ariana สำหรับเอเจนต์ที่มีความหน่วงต่ำและฟังดูเป็นธรรมชาติ
วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและถอดรหัสการทำงานของ attention kernel ที่ปรับแต่งสำหรับ Blackwell เนื่องจากยังไม่มีรายงานทางเทคนิคอย่างเป็นทางการ บทความได้ติดตาม tile หนึ่งผ่านไปป์ไลน์แบบอะซิงโครนัสที่แยกส่วนตาม warp ภายใน kernel และอธิบายเทคนิคทางคณิตศาสตร์สองอย่าง ได้แก่ ฟังก์ชัน exponential แบบซอฟต์แวร์ที่ใช้พหุนามกำลังสามซึ่งสามารถแทนการยกกำลังผ่าน SFU และกฎการปรับสเกลแบบ online softmax ที่ฉลาดกว่าซึ่ง Tri Dao กล่าวว่าลดการแก้ไขลงได้ถึง 10 เท่า มีรายงานว่า FA4 เร็วกว่า attention kernel แบบ closed-source cudnn ของ Nvidia ประมาณ 20% และในขณะที่เขียนยังไม่มีเวอร์ชัน backward
ทำไมเรื่องนี้สำคัญ: วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและอธิบายไปป์ไลน์ที่แยกส่วนตาม warp พร้อมเทคนิคทางคณิตศาสตร์สองอย่าง ซึ่งให้มุมมองที่นำไปประยุกต์ใช้ได้เกี่ยวกับทิศทางของงานออกแบบ CUDA kernel
Modal สร้าง Modal Vibe แพลตฟอร์มสาธิตแบบโอเพนซอร์สสำหรับ vibe coding บน Modal Sandboxes ที่ขยายจาก 0 ถึง 1,000 แอปที่เขียนโค้ดด้วย AI ได้ในเวลาประมาณห้านาที การทดสอบโหลดที่สร้าง 1,000 แอป โดยแต่ละแอปอยู่ใน Sandbox ของตัวเอง ใช้เวลาราว 300 วินาที โดย AI API เป็นขั้นตอนที่จำกัดอัตรา Modal ระบุว่า Team Plan สามารถรัน Sandbox พร้อมกันได้ 1,000 รายการ เพียงพอสำหรับกว่า 1 ล้านเซสชันต่อเดือน
Modal ได้เปิดตัวอัปเดตผลิตภัณฑ์ ซึ่งรวมถึง Modal Notebooks สำหรับการทดลอง Python บนคลาวด์ที่รองรับ GPU B200 สูงสุด 8 ตัว พร้อมพารามิเตอร์ idle_timeout แบบเลือกได้สำหรับ modal.Sandbox.create() ไคลเอนต์ยังเพิ่มพารามิเตอร์ startup_timeout ให้กับเดคอเรเตอร์ @app.function() และ @app.cls() และรูปแบบ API ใหม่สำหรับการจัดการประเภททรัพยากรของ Modal แบบ imperative ต่อมา Modal Notebooks ถูกปิดให้บริการแล้ว แต่ยังสามารถดาวน์โหลดโน้ตบุ๊กที่มีอยู่เป็นไฟล์ .ipynb ได้
Modal เผยรายละเอียดทางวิศวกรรมเบื้องหลัง Modal Notebooks โน้ตบุ๊ก Jupyter บนคลาวด์ที่บูต GPU และอิมเมจกำหนดเองได้ในไม่กี่วินาทีพร้อมการทำงานร่วมกันแบบเรียลไทม์ เคอร์เนลทำงานภายใน Modal Sandboxes โดยมีเดมอน modal-kernelshim แปลงข้อความ Jupyter ZeroMQ เป็น HTTP calls ที่ส่งผ่านทันเนลผ่าน control plane ของ Modal ระบบไฟล์คอนเทนเนอร์ Rust FUSE แบบ lazy-loading ดึงเนื้อหาไฟล์ตามต้องการผ่านแคชแบบหลายชั้น หลีกเลี่ยงความหน่วงจากการแตกอิมเมจซึ่งอาจใกล้ถึงหนึ่งนาทีสำหรับอิมเมจ Python/ML ขนาด 8 GB
Modal Notebooks เปิดให้ใช้งานทั่วไปแก่ลูกค้า Modal ทุกรายแล้ว หลังจากช่วงเบต้าแบบจำกัดเมื่อเดือนที่แล้ว สภาพแวดล้อมโน้ตบุ๊กสำหรับการทำงานร่วมกันนี้ทำงานบนเคอร์เนล Python ที่รองรับ GPU ซึ่งพร้อมใช้งานได้ในไม่ถึง 5 วินาทีบนอิมเมจคอนเทนเนอร์ใดก็ได้และฮาร์ดแวร์สูงสุด 256 vCPU และ 8 H100/B200 GPU พร้อมการปิดอัตโนมัติเมื่อไม่ใช้งาน, Volumes และ Secrets ที่แชร์ร่วมกัน และการแก้ไขแบบหลายเคอร์เซอร์แบบเรียลไทม์ Modal ระบุว่ามีกว่า 5,000 บัญชีที่รัน 200,000 เซลล์โค้ดในช่วงเบต้าเดือนสิงหาคม และฟีเจอร์ที่กำลังจะมาถึง ได้แก่ memory snapshots, การส่งออกไปยัง Modal Apps ด้วยคลิกเดียว และการรันตามกำหนดเวลา
Zencastr ย้ายงานถอดเสียงพอดแคสต์ไปยังแพลตฟอร์ม GPU ของ Modal ขยายกำลังถึง GPU 1,500 ตัวพร้อมกันภายในไม่กี่นาที เพื่อประมวลผลเสียงหลายร้อยปีภายในไม่กี่วัน การเปลี่ยนจากโหนด GPU Kubernetes ที่จัดการเองไปสู่โครงสร้างพื้นฐานแบบ scale-to-zero ของ Modal ช่วยลดต้นทุน GPU ที่ไม่ได้ใช้งาน และขจัดภาระการจัดการไดรเวอร์และ dependencies ทั้งหมด งาน ML หลักทั้งหมดทำงานบน Modal แล้ว รวมถึงการถอดเสียง การนับจำนวนผู้พูด การตรวจจับเสียงหัวเราะ และการให้คะแนนคุณภาพเสียง
Modal เพิ่ม GPU memory snapshots ในเวอร์ชัน alpha ช่วยลด cold boot สำหรับงาน GPU ได้ 10 เท่าโดยข้ามขั้นตอนอย่าง Torch compilation เปิดใช้งานผ่านตัวเลือก enable_gpu_snapshot การอัปเดตนี้ยังนำ Modal Notebooks ในเวอร์ชัน beta สำหรับรัน Python ในเบราว์เซอร์, Service Tokens สำหรับผู้จัดการ workspace และ UI ที่สร้างโดยเบราว์เซอร์สำหรับ Functions ที่ deploy แล้ว
Modal ประกาศเปิดตัว GPU memory snapshots ในเวอร์ชัน alpha โดยขยายระบบ checkpoint/restore ที่มีอยู่ให้สามารถบันทึก GPU vRAM, CUDA kernels, streams และ contexts เพื่อให้ GPU workloads กู้คืนจากสถานะที่หยุดไว้แทนการสร้าง CUDA state ใหม่หลังบูต
ทำไมเรื่องนี้สำคัญ: Modal เพิ่ม GPU state เข้าไปใน memory snapshots ของตน ช่วยลดเวลา cold boot สำหรับ torch.compile และ vLLM workloads ได้มากถึง 10 เท่า และทำให้ scale-to-zero ใช้งานได้จริงมากขึ้น
AI code sandbox คือสภาพแวดล้อมแบบแยกส่วนที่รันโค้ดที่สร้างโดย LLM ในขณะใช้งาน เพื่อจำกัดขอบเขตผลกระทบจากข้อผิดพลาดหรือช่องโหว่ที่ถูกแทรกเข้ามา การใช้งานในปัจจุบันรันบน VM หรือคอนเทนเนอร์ โดยมักใช้รันไทม์ที่ปลอดภัยอย่าง gVisor เพื่อดักจับ syscall และปกป้องโฮสต์ บริษัทส่วนใหญ่เลือกใช้บริการ sandbox แบบ managed แทนการสร้างเองด้วย Kubernetes เนื่องจาก cold start และการขยายระบบรองรับหลายล้านเซสชันพร้อมกันมีต้นทุนสูง
Modal ได้พัฒนาบริการถอดเสียงแบบแบตช์บนแพลตฟอร์มของตนโดยใช้ parakeet-tdt-0.6b-v2 และ canary-1b-flash ของ NVIDIA โดยรายงานว่าประสิทธิภาพแบบ end-to-end เร็วกว่า 100 เท่าหรือถูกกว่า 100 เท่าเมื่อเทียบกับ API ASR เชิงพาณิชย์ยอดนิยม ขณะที่อัตราความผิดพลาดใกล้เคียงกันกับเสียงทดสอบ ESB ประมาณหนึ่งสัปดาห์ ทีมงานระบุว่าประสิทธิภาพที่ดีขึ้นนี้มาจากการสลับไฟล์ระหว่างชุดคำขอ การเรียงลำดับเสียงตามความยาวภายในชุด GPU การดาวน์โหลดแบบขนาน และการเลือกการกำหนดค่า GPU และ worker จากข้อมูลเชิงประจักษ์ บทความอธิบายสถาปัตยกรรมและขั้นตอนการปรับแต่งเพื่อให้ผู้อื่นสามารถสร้างบริการที่คล้ายกันได้
บทความใน Modal Blog โต้แย้งว่าราคาแบบ "ดอลลาร์ต่อโทเคน" ซึ่งสืบทอดมาจากผู้ให้บริการ API อย่าง OpenAI, Anthropic และ Alphabet สร้างผลเสียอย่างมากต่อทีมที่รันการอนุมาน LLM แบบโฮสต์เอง โดยอ้างว่าผู้ใช้แอปพลิเคชันสนใจคำขอมากกว่าโทเคน และจำเป็นต้องใช้กรอบการคิดแบบต่อคำขอเพื่อวิเคราะห์เวลาแฝง จำนวนรีพลิกา และต้นทุนการประมวลผล
Modal ได้เปิดตัวคลัสเตอร์ฝึกอบรมหลายโหนดในเวอร์ชันเบต้า ช่วยให้ผู้ใช้เข้าถึง GPU หลายสิบตัวข้ามโฮสต์หลายเครื่องได้โดยการเพิ่ม @clustered decorator พร้อมการเชื่อมต่อ Infiniband RDMA ความเร็ว 3.2 Tbps เพื่อการขยายขนาดแบบเกือบเชิงเส้น แพลตฟอร์มนี้ยังมี GPU NVIDIA B200 และ H200 แบบเซิร์ฟเวอร์เลสในราคา $6.25/ชม. และ $4.54/ชม. ตามลำดับ โดยอ้างว่าการอนุมาน LLM เร็วขึ้นถึง 2-4 เท่าเมื่อเทียบกับ H100s Modal ยังเปิดตัว Client 1.0 โดยเน้นความเสถียรของ API พร้อมอัปเดตอื่นๆ รวมถึงเมธอด Volume แบบอ่านอย่างเดียวและการรองรับเขตเวลาสำหรับตารางเวลา Cron
Jamsocket แพลตฟอร์มแบ็กเอนด์เบื้องหลังออร์เคสเตรเตอร์โอเพนซอร์สอย่าง Plane, Y-Sweet และ ForeverVM กำลังเข้าร่วมกับ Modal โดยผู้ร่วมก่อตั้ง Paul Butler และ Taylor Baldwin จะเข้าร่วมทีม Modal ผลิตภัณฑ์ของ Jamsocket จะยังคงดำเนินงานตามปกติ ขณะที่ฟังก์ชันหลักกำลังถูกย้ายไปยัง Modal ซึ่งผู้ก่อตั้งกล่าวว่าช่วยให้ลูกค้าที่เน้น AI สามารถดีพลอย GPU inference, code sandboxes และแบ็กเอนด์แบบเรียลไทม์จากแพลตฟอร์มเดียว
Lovable ใช้ Modal Sandboxes รันโค้ดที่สร้างโดย LLM ในช่วงสุดสัปดาห์โปรโมชันเดือนมิถุนายน 2025 ร่วมกับ Anthropic, OpenAI และ Google ทำให้ผู้ใช้สามารถสร้างแอปได้ประมาณ 250,000 แอปใน 48 ชั่วโมง Modal รัน sandbox มากกว่า 1 ล้านตัว โดยมีสูงสุดถึง 20,000 ตัวพร้อมกันที่จุดพีค ขณะที่เซสชันพร้อมกันของ Lovable พุ่งขึ้น 2.5-3 เท่า และทีมแพลตฟอร์มไม่ถูกเรียกตัวแม้แต่ครั้งเดียว Lovable ลดโค้ดจัดการ sandbox จาก 15,000 บรรทัดเหลือ 700 บรรทัดหลังเปลี่ยนมาใช้ Modal
Modal ใช้ evals และการขยายคอมพิวต์ตอนอนุมานเพื่อปรับปรุงระบบ QArt code ของตน เพิ่มอัตราการสแกน QR ไปถึงเป้าหมายระดับบริการ 95% พร้อมทั้งปรับปรุงคุณภาพด้านความสวยงามและคืนรหัสได้ภายในเวลาไม่ถึง 20 วินาทีที่ p95 งานนี้เดินตามแนวทาง ML มาตรฐาน คือการเก็บคำตัดสินของมนุษย์ ปรับให้สอดคล้องกับคำตัดสินเหล่านั้น แล้วจึงขยายขนาด ซึ่งช่วยแก้ปัญหาช่องว่างแบบ "it worked on my prompt" ที่ทำให้ QR code ที่สร้างขึ้นจำนวนมากสแกนไม่ได้
Quora ใช้ Modal Sandboxes เพื่อรันโค้ดที่สร้างโดย LLM อย่างปลอดภัยใน Poe แพลตฟอร์มแชทบอต AI ของบริษัท โดยเปิดตัวฟีเจอร์นี้เร็วกว่าการสร้างระบบภายในองค์กรเองหลายเดือน ทีมงานทดสอบความสามารถในการสร้าง Sandbox จนถึง 1000 sandbox ต่อวินาที และรายงานว่าประหยัดเวลาการบำรุงรักษาโครงสร้างพื้นฐานอย่างต่อเนื่องได้เทียบเท่าวิศวกร 2 คน
Vapi ตอนนี้ให้ผู้ใช้ออกแคมเปญโทรออกได้โดยการอัปโหลด CSV ของหมายเลขโทรศัพท์และตัวแปรที่กำหนดเอง จากนั้นมอบหมายผู้ช่วยหรือเวิร์กโฟลว์ให้ทำงาน Vapi จัดการคิว การทำงาน และการบันทึก โดยสถานะการโทรแสดงในแดชบอร์ด แคมเปญต้องใช้หมายเลขโทรศัพท์ที่ยืนยันแล้ว เนื่องจากไม่สามารถใช้หมายเลขของ Vapi ได้
Mistral และ Llama 3 มีแนวคิดที่แตกต่างกันสำหรับ Voice AI: โมเดล Mistral ตั้งแต่ 7B ถึง Mistral Small 3.1 (24B) เน้นประสิทธิภาพแบบ low-latency ขณะที่ Llama 3 ขยายจาก 8B ถึง 70B เพื่อการ reasoning ที่แข็งแกร่งขึ้นและการรองรับหลายภาษา Mistral Small 3.1 ใช้เวลา 0.29 วินาทีถึง token แรกที่ 150-166 tokens ต่อวินาที และ Mistral Small 24B เอาชนะ Llama 3.1 8B Instruct ใน ARC-C, GPQA และ MMLU ขณะที่ Llama 3.1 405B ทำคะแนนได้ 85.2% ใน MMLU และ 96.8% ใน GSM8K
Vapi ตอนนี้มีผู้ให้บริการ speech-to-text แปดราย — Gladia, AssemblyAI, Deepgram, Cartesia, Talkscriber, OpenAI, Speechmatics และ ElevenLabs — เป็นทางเลือกที่เปลี่ยนแทน Azure ได้ทันทีสำหรับ voice agents การสลับผู้ให้บริการใช้เพียงเปลี่ยนพารามิเตอร์ JSON หนึ่งค่า ทำให้นักพัฒนาสามารถเปรียบเทียบ latency ต้นทุน และการปฏิบัติตามข้อกำหนดได้ Gladia อ้างว่า latency แบบ end-to-end ต่ำกว่า 100 ms, AssemblyAI รวมสรุปและ PII redaction ไว้ในการเรียก API ครั้งเดียว และ Cartesia ทำงานบน on-premises ได้เต็มรูปแบบ
Gemini 2.5 Flash และ 2.5 Pro ของ Google แตกต่างกันหลักๆ ที่ความเร็วเทียบกับความลึกของการให้เหตุผล โดยทั้งคู่มีหน้าต่างบริบท 1M โทเคน และพร้อมใช้งานแบบเนทีฟใน Vapi สำหรับ voice agent โดย Flash ส่งโทเคนแรกใน 0.21–0.37 วินาที ที่ 163 โทเคนต่อวินาที และมีค่าใช้จ่าย $0.15/$0.60 ต่อล้านโทเคนอินพุต/เอาต์พุต ขณะที่ Pro มีค่าใช้จ่าย $1.25/$10 และเพิ่มโหมด Deep Think พร้อมแผนรองรับหน้าต่าง 2M โทเคน
วิศวกรของ Modal อธิบายการทำให้ FLUX.1-dev ของ Black Forest Labs ทำงานเร็วขึ้นประมาณสามเท่าในรูปแบบบริการ autoscaling โดยลดเวลาสร้างภาพขนาด 1024x1024 จากราว 6.75 วินาทีเหลือต่ำกว่าสามวินาที การปรับแต่งมาตรฐาน ได้แก่ Torch compiler พร้อม max-autotune, fused QKV attention และ channels-last memory layout ให้ความเร็วเพิ่มราว 1.5 เท่า ขณะที่ First Block Caching จาก repo ParaAttention ซึ่งอ้างอิงงานวิจัย TEACache เพิ่มความเร็วอีก 2 เท่าที่ threshold 0.12 ส่วน compile caches และ Modal Memory Snapshots ลดเวลา cold start ได้ 30 เท่า
Nova-3 ของ Deepgram ลดอัตราความผิดพลาดระดับคำแบบสตรีมมิ่งจาก 8.4% ของ Nova-2 เหลือ 6.84% และทำ WER แบบแบตช์ได้ 5.26% ซึ่งเป็นการลดความผิดพลาดแบบสตรีมมิ่งลง 54.3% Nova-3 แทนที่โมเดลเฉพาะโดเมนแยกของ Nova-2 ด้วยเครือข่ายปรับตัวได้เพียงตัวเดียว และเพิ่มการจัดการบทสนทนาหลายภาษาแบบเรียลไทม์ รองรับคำกำหนดเองแบบเซลฟ์เซอร์วิสสูงสุด 100 คำโดยไม่ต้องเทรนใหม่ และการปิดบังข้อมูลสูงสุด 50 เอนทิตี ทั้งสองโมเดลทำงานแบบเนทีฟบน Vapi ด้วยเอนด์พอยต์เดียวกัน การสลับจึงเป็นเพียงการเปลี่ยนพารามิเตอร์ แม้ Nova-3 จะอยู่ในระดับราคาพรีเมียมของ Deepgram
Modal ได้เปิดตัวเวอร์ชัน 1.0 ของไคลเอนต์ Python SDK ซึ่งเป็นหมุดหมายที่บริษัทกล่าวว่าจะนำมาซึ่งความสมบูรณ์และความเสถียรในระดับใหม่ให้กับแพลตฟอร์มคลาวด์คอมพิวต์แบบเซิร์ฟเวอร์เลส โดยคาดว่าจะมีการเปลี่ยนแปลงที่ทำให้เกิดการแตกหักน้อยลงมากในอนาคต การเปิดตัวนี้ได้ลบพฤติกรรมแบบ "เวทมนตร์" เช่นการเมานต์แพ็กเกจในเครื่องโดยอัตโนมัติ แยกฟังก์ชันหลักออกเป็นเดคอเรเตอร์แยกต่างหาก เช่น @modal.concurrent ใหม่ และรวมการจัดการไฟล์ในเครื่องไว้ภายใต้คลาส modal.Image นอกจากนี้ Modal ยังวางแผนที่จะมี SDK สำหรับภาษาอื่นๆ และกำลังสำรวจว่าแพลตฟอร์มควรให้บริการเวิร์กโฟลว์เอเจนต์ที่ขับเคลื่อนด้วย AI อย่างไร
Vapi นำเสนอกรณีการใช้งาน AI เสียงในระบบโลจิสติกส์สามกรณี: ShipEX ใช้ระบบเสียงอัจฉริยะกับรถบรรทุก 350 คันเพื่อจัดการการแจ้งเตือนการบำรุงรักษาและรายงานอุบัติเหตุ ระบบหยิบสินค้าด้วยเสียงของ Idaho State Liquor Division เพิ่มอัตราการหยิบสินค้าได้ 35% และช่างเทคนิคซ่อมบำรุงบันทึกปัญหาด้วยเสียงเพื่อสร้างใบสั่งงาน CMMS โดยอัตโนมัติ บทความยังอธิบายรายละเอียดการเชื่อมต่อ API กับระบบ TMS, CRM และ WMS รวมถึงข้อควรพิจารณาในการติดตั้งใช้งาน
Vapi มีโมเดลแปลงข้อความเป็นเสียงในตัว 11 โมเดลเป็นทางเลือกแทน ElevenLabs ได้แก่ Neu-hq และ Neu-fast ของ Neuphonic, กลุ่มผลิตภัณฑ์ Sonic ของ Cartesia, Azure TTS, OpenAI TTS, Deepgram, Lightning ของ Smallest AI, LMNT, PlayHT, Octave ของ Hume และ Mist v2 ของ Rime AI นักพัฒนาสามารถสลับระหว่างโมเดลเหล่านี้ได้ในไม่กี่นาทีโดยไม่ต้องเขียนโค้ดใหม่ และ Vapi ระบุว่าบริการจัดการสายเสียงมากกว่าหนึ่งล้านสายต่อวันผ่านโมเดลเหล่านี้