Modal สาธิตการรันเอเจนต์วิจัยอัตโนมัติบน GPU แบบยืดหยุ่น: เมื่อได้รับ Modal Skills Claude Code ได้รันการทดลอง 113 ครั้งรวม 238 GPU-ชั่วโมงบนโจทย์ Parameter Golf ของ OpenAI โดยทำการฝึกโมเดลหลักเสร็จเร็วขึ้น 5 เท่าเมื่อเทียบกับเวิร์กสเตชันเดียว ขณะที่ใช้ทรัพยากรเพียงเศษเสี้ยวของคลัสเตอร์เฉพาะ เอเจนต์จัดสรร GPU ผ่านการเรียก API ปรับขนาดจากหนึ่งถึงหลายสิบ H100 และกลับเป็นศูนย์โดยอัตโนมัติ
Modal ได้เข้าซื้อกิจการ Butter โดย Erik Dunteman ผู้ก่อตั้ง และ Raymond Tana นักวิจัย ได้เข้าร่วมทีม Sandbox ของ Modal ทีม Butter นำประสบการณ์ด้านวิศวกรรม agent harness มาด้วย รวมถึง bVisor ซึ่งเป็นเคอร์เนล Linux เสมือนที่เขียนขึ้นใหม่ทั้งหมดด้วยภาษา Zig สำหรับแซนด์บ็อกซ์ชั่วคราวที่มีน้ำหนักเบา Modal กล่าวว่าการจ้างครั้งนี้ช่วยผลักดันเป้าหมายในการทำให้ Modal Sandboxes เป็นผลิตภัณฑ์ที่มีประสบการณ์ระดับชั้นนำ
Physical Intelligence (Pi) รันโมเดลหุ่นยนต์ Visual-Language-Action บน Modal โดยเพิ่มโอเวอร์เฮดเครือข่ายเพียง ~10-15ms Pi ร่วมมือกับ Modal สร้างพอร์ทัลที่ใช้ QUIC บน UDP พร้อมการทะลุ NAT อัตโนมัติ แทนที่ TCP Tunnels เพื่อหลีกเลี่ยงการหยุดชะงักแบบ request-response ในลูปควบคุมหุ่นยนต์ Checkpoint ที่เก็บใน Modal Volumes โหลดได้ในเวลาไม่ถึง 30 วินาที และการดีพลอยแบบปักหมุดภูมิภาคช่วยให้การอนุมานอยู่ใกล้หุ่นยนต์
Modal ให้บริการ NVIDIA RTX Pro 6000 Blackwell พร้อม VRAM 96GB และประสิทธิภาพ fp4/fp8 ที่แข็งแกร่ง ใช้งานได้ผ่านโค้ดเพียงบรรทัดเดียวสำหรับงาน inference และ fine-tuning การอัปเดตครั้งนี้ยังเพิ่ม Command Palette (CMD+K) บนแดชบอร์ด, Sandbox Filesystem API ที่ปรับปรุงใหม่ในเวอร์ชัน beta รองรับการอ่านสูงสุด 5GB และสตรีมมิ่งทั้งสองทิศทาง และคำสั่ง CLI log พร้อมการดึงข้อมูลย้อนหลัง
Runway กำลังร่วมมือกับ Modal เพื่อขับเคลื่อนการประมวลผลแบบเรียลไทม์สำหรับ Runway Characters ซึ่งเป็น API ของเอเจนต์วิดีโอแบบเรียลไทม์ที่สร้างขึ้นบนโมเดลโลก GWM-1 ของ Runway ที่สร้างบุคลิกภาพดิจิทัลที่แสดงออกได้จากภาพเดียวโดยไม่ต้องปรับแต่งเพิ่มเติม แพลตฟอร์มเซิร์ฟเวอร์เลสของ Modal ช่วยให้ Runway ก้าวจากต้นแบบไปสู่การใช้งานจริงได้ในเวลาไม่ถึง 30 วัน โดยใช้คลัสเตอร์ GPU หลายโหนดแบบบรรทัดเดียวพร้อมเครือข่าย RDMA ในทุกภูมิภาค Characters พร้อมใช้งานแล้วสำหรับนักพัฒนาและธุรกิจที่ dev.runwayml.com และสำหรับผู้บริโภคที่ runwayml.com
Doppel ย้ายเวิร์กโฟลว์ ML ส่วนใหญ่ไปยัง Modal ขจัดความฝืดของโครงสร้างพื้นฐานที่ทำให้การทดลองฝึกโมเดลและการติดตั้งใช้งาน inference ช้าลง การทดลองแบบขนานผ่าน map() แทนการรันแบบลำดับ ขณะที่การแคชเลเยอร์อิมเมจและ persistent volumes ลดเวลาบิลด์ได้ถึง 10 เท่า โดยการตั้งค่าที่ซับซ้อนสามารถบิลด์แบบวอร์มได้ภายในไม่ถึงหนึ่งนาที
Vapi จัดเว็บบินาร์ที่ Nick Robin ผู้จัดการผลิตภัณฑ์หลัก สาธิต Composer ผู้ช่วยในผลิตภัณฑ์สำหรับสร้าง voice agent โดยไม่ต้องเขียนโค้ด ซึ่งสามารถสร้าง inbound customer service agent ที่ใช้งานได้จริงภายในเวลา 30 นาทีในการสาธิต Composer เขียน system prompt จัดสรรหมายเลขโทรศัพท์ ตั้งค่าการจัดตารางเวลา และแจ้งข้อผิดพลาดของตัวเองเพื่อขออนุมัติ ปัจจุบันอยู่ในระยะ alpha และรองรับทั้ง assistant ประเภท inbound และ outbound การเชื่อมต่อกับ CRM และปฏิทิน และการแก้ไข agent ที่มีอยู่ผ่าน assistant ID
Modal เพิ่ม Directory Snapshots สำหรับ Sandboxes ให้ผู้ใช้สามารถสแนปช็อตไดเรกทอรีเดียวและเมานต์ลงใน Sandbox ใหม่ได้โดยอิสระจากอิมเมจพื้นฐาน Modal ยังเปิดตัว GLM-5 endpoint สาธารณะแบบฟรีร่วมกับ Z.ai ไปจนถึงสิ้นเดือนเมษายน ซึ่งรองรับ OpenCode, Claude Code, OpenClaw และ Vercel AI SDK ขณะนี้ CLI รายงานการเรียกเก็บเงินของ Modal และ API modal.billing.workspace_billing_report พร้อมใช้งานทั่วไปสำหรับเวิร์กสเปซแบบ Team และ Enterprise แล้ว
Vapi 发布了 Vapi Skills，这是一个遵循 Agent Skills 标准的代码库，同时还推出了一个 Model Context Protocol 连接器，让编程智能体能够实时访问 Vapi 的文档。只需一条安装命令，即可加载包含精确 API schema 的分步说明，用于 create-assistant、create-tool、create-call 和 setup-webhook 等工作流，并且该技能包可在 Claude Code、Cursor、VS Code Copilot 和 Gemini CLI 上运行。
Modal แพลตฟอร์มโครงสร้างพื้นฐานคลาวด์สำหรับงาน AI ที่ใช้ข้อมูลและพลังประมวลผลสูง ได้นำเสนอผลงานวิจัยจาก Hazy Research, Scaling Intelligence และ IRIS ที่ใช้กลุ่ม GPU ของแพลตฟอร์มเพื่อเร่งความเร็วงานวิจัย AI โครงการ KernelBench ซึ่งนำโดย Anne Ouyang, Simon Guo และ Will Hu จาก Scaling Intelligence จัดเตรียมชุดทดสอบ 250 ปัญหาและสภาพแวดล้อมการวิจัยสำหรับการสร้างเคอร์เนล GPU แบบอัตโนมัติ โดยใช้ Modal เพื่อการทดสอบที่สม่ำเสมอและขยายขนาดได้บนฮาร์ดแวร์ตั้งแต่ระบบ L40s ไปจนถึง Blackwell
Modal เปิดตัว Directory Snapshots ในรุ่นพับลิกเบตา ให้ผู้ใช้สามารถสแนปช็อตไดเรกทอรีที่ระบุภายใน Sandbox ที่กำลังทำงาน และเมานต์ไดเรกทอรีนั้นเข้าไปใน Sandbox อื่นได้อย่างอิสระจากอิมเมจพื้นฐานและระบบไฟล์ส่วนที่เหลือ ฟีเจอร์นี้มุ่งเป้าไปที่เอเจนต์เขียนโค้ดและแพลตฟอร์มไวบ์โค้ดดิ้งที่จำเป็นต้องรักษาสถานะโปรเจกต์ข้ามการรีสตาร์ตของแซนด์บ็อกซ์ และ Modal ระบุว่าช่วยให้แยก dependencies ของระบบออกจากโค้ดแอปพลิเคชัน พรีวอร์มพูลแซนด์บ็อกซ์ และพรีโหลดไฟล์สำคัญได้เร็วขึ้น Directory Snapshots จะคงอยู่ 30 วันหลังการใช้งานครั้งล่าสุดและเมานต์ได้ทันที โดยเนื้อหาจะถูกจัดลำดับความสำคัญสำหรับการพรีโหลดบนระบบไฟล์คอนเทนเนอร์แบบ lazy-loading ของ Modal
Ramp สร้าง Ramp Inspect เอเจนต์เขียนโค้ดเบื้องหลังภายในที่ทำงานบน Modal Sandboxes และตอนนี้มันเริ่มต้น pull request ที่ถูก merge แล้วประมาณครึ่งหนึ่งในรีโป frontend และ backend ของ Ramp แต่ละเซสชันบูตสภาพแวดล้อม full-stack ที่มี Postgres, Redis, Temporal และ RabbitMQ ภายในไม่กี่วินาที เพราะ cron job ของ Modal โคลนรีโปและบันทึกสแนปช็อตของระบบไฟล์ทุก 30 นาที Modal Functions, Dicts และ Queues จัดการการสร้างสแนปช็อต ล็อกเซสชัน และการกำหนดเส้นทางพรอมป์ต์ ทำให้ Inspect รองรับเซสชันแบบหลายคนและเซสชันที่ทำงานพร้อมกันหลายร้อยเซสชันโดยไม่มีเซสชันใดส่งผลกระทบต่อกัน
Vapi 发布了 Composer，这是 Vapi Dashboard 内置的 AI 助手，可根据描述构建语音代理，编写提示词、配置设置、开通电话号码、构建工具并设置集成。Composer 还可以提取通话记录来解释失败的通话并应用修复，以及生成在 Vapi 基础设施上运行的自定义代码工具，用于 HubSpot 等集成。它现已以 Alpha 版本提供，无需设置或入门流程。
Modal เปิดตัว endpoint ที่รองรับ OpenAI API ของ GLM-5 แบบฟรี ใช้งานได้ถึงสิ้นเดือนเมษายน จำกัดการร้องขอแบบทีละ concurrence พร้อมเผยแพร่โค้ดที่ทำซ้ำได้สำหรับการติดตั้งใช้งานด้วย SGLang บนโหนดเดียวกับการ์ด B200 จำนวน 8 ใบ
ทำไมเรื่องนี้สำคัญ: Modal ให้บริการ endpoint ที่รองรับ OpenAI สำหรับ GLM-5 ของ Z.ai แบบฟรี พร้อมระบุการตั้งค่าเฉพาะสำหรับการเชื่อมต่อใน OpenCode, OpenClaw, Claude Code และ Vercel AI SDK
ขณะนี้สามารถซื้อ Modal ได้ผ่าน AWS และ Google Cloud Marketplaces ทำให้ลูกค้าองค์กรสามารถใช้พันธสัญญาการใช้จ่ายคลาวด์ที่มีอยู่กับกาารใช้งาน Modal ได้ แพลตฟอร์มยังได้อัปเดต Sandbox UI พร้อมรายละเอียดทรัพยากรและภูมิภาคที่ชัดเจนขึ้น รวมถึงไทม์ไลน์การทำงานใหม่ และไคลเอนต์ 1.3.1 เพิ่มการรองรับ Python 3.14 รวมถึง Python แบบ free-threaded (3.14t) ในคอนเทนเนอร์ Modal ในระดับทดลอง
Factory เปิดตัว Agent Readiness ซึ่งประเมินว่าโค้ดเบสสนับสนุนการพัฒนาอัตโนมัติได้ดีเพียงใดผ่านเสาหลักทางเทคนิคแปดด้านและระดับความสมบูรณ์ห้าระดับ สามารถรันได้ผ่าน /readiness-report ใน Droid, แดชบอร์ดองค์กร หรือ API เกณฑ์แต่ละข้อเป็นแบบไบนารี และระดับจะปลดล็อกก็ต่อเมื่อผ่าน 80% ของเกณฑ์ในระดับนั้นและผ่านทุกระดับก่อนหน้าทั้งหมด การอ้างอิงการประเมินแต่ละครั้งกับรายงานก่อนหน้าของรีโพซิทอรีช่วยลดความแปรปรวนของคะแนนจากเฉลี่ย 7% เหลือ 0.6% across 9 benchmark repositories over six weeks รายงานสามารถทริกเกอร์เอเจนต์ที่เปิด pull request เพื่อแก้ไขเกณฑ์ที่ไม่ผ่าน เช่น AGENTS.md ที่หายไป การกำหนดค่า linter หรือ pre-commit hooks
Chai Discovery ใช้ Modal เพื่อรันไปป์ไลน์การค้นพบยาด้วยแมชชีนเลิร์นนิง ตั้งแต่การฝังโปรตีนและการจัดเรียงลำดับหลายสาย ไปจนถึงการออกแบบแอนติบอดี Modal Volumes ดาวน์โหลดและจัดทำดัชนีชุดข้อมูลที่มีขนาดหลายร้อยกิกะไบต์เพียงครั้งเดียว แล้วแชร์ข้ามเครื่อง ขณะที่การขยาย GPU แบบยืดหยุ่นสามารถเปิด GPU หลายร้อยตัวได้ภายในไม่กี่นาที Chai กล่าวว่าการตั้งค่าเดียวกันนี้ теперьนำเวิร์กโฟลว์การวิจัยเข้าสู่การผลิตโดยไม่ต้องเขียนโครงสร้างพื้นฐานใหม่
OpenAI เปิดตัว Model Context Protocol (MCP) server แบบสาธารณะที่ให้เอเจนต์เข้าถึงเอกสารนักพัฒนาแบบอ่านอย่างเดียวจาก developers.openai.com, platform.openai.com และ learn.chatgpt.com เซิร์ฟเวอร์นี้มีไว้สำหรับเอกสารเท่านั้นและไม่เรียก OpenAI API แทนผู้ใช้ นักพัฒนาสามารถเพิ่มลงใน Codex ผ่าน CLI หรือส่วนขยาย IDE ด้วยการกำหนดค่าร่วมชุดเดียว และใช้ร่วมกับ OpenAI Docs Skill เพื่อให้ได้คำตอบที่อ้างอิงแหล่งที่มา
Modal ได้ขยายพูล GPU worker แบบหลายคลาวด์เกิน 20,000 GPU พร้อมกัน และเปิดตัวอินสแตนซ์คลาวด์มากกว่าสี่ล้านตัวในช่วงสองปีที่ผ่านมา ตอนนี้จึงเปิดเผยระบบความน่าเชื่อถือเบื้องหลัง บทความครอบคลุมการทดสอบและเลือกประเภทอินสแตนซ์ การเตรียม machine image และการตรวจสอบการบูต การตรวจสุขภาพ GPU แบบพาสซีฟและแอคทีฟ และการสังเกตการณ์และการสนับสนุน โดยรายงานความแตกต่างระหว่างผู้ให้บริการไฮเปอร์สเกล เช่น Cloud A มีอัตราการบูตสำเร็จ 99.6% และ Cloud C มี H100 ทำงานที่อุณหภูมิเกิน 90ºC ในปี 2025
Vapi เปิดตัว Vapi Voices Beta ซึ่งเป็นกลุ่มโมเดลเสียงที่สร้างขึ้นสำหรับการใช้งาน Voice AI ที่มีปริมาณสูงและคำนึงถึงต้นทุน โดยมีราคา $0.0025 ต่อนาที พร้อมความหน่วงที่ปรับให้เหมาะสมสำหรับการตอบสนองแบบสนทนา โมเดลเหล่านี้ปรากฏในเมนูแบบเลื่อนลงเลือกเสียงที่มีอยู่แล้ว ควบคู่กับผู้ให้บริการอย่าง ElevenLabs, PlayHT และ Deepgram ทำให้ทีมสามารถกำหนดเส้นทางการไหลที่มีปริมาณสูงและความสำคัญต่ำ เช่น การแจ้งเตือนนัดหมายและเมนูการกำหนดเส้นทาง ไปยังโมเดลเหล่านี้ได้โดยไม่ต้องเปลี่ยนแปลงการเชื่อมต่อใดๆ Vapi ระบุว่ากำลังกำหนดเงื่อนไขการเปิดให้ใช้งานทั่วไปจากสิ่งที่การใช้งานเบต้าเผยให้เห็นเกี่ยวกับกรณีการใช้งาน ความหน่วงภายใต้โหลดจริง และว่าการประหยัดนั้นมีความสำคัญหรือไม่
Modal ให้การรองรับ Day 0 สำหรับ Mistral 3 แล้ว ช่วยให้นักพัฒนาสามารถปรับใช้ตระกูลโมเดลเปิดบน GPU แบบเซิร์ฟเวอร์เลสได้โดยไม่ต้องจัดการโครงสร้างพื้นฐาน บนโมเดล 3B Ministral 3 ฟีเจอร์ GPU snapshotting ของ Modal ลดเวลาการเริ่มต้นแบบเย็นมัธยฐานจากประมาณ 118 วินาที เหลือประมาณ 12 วินาที ลดลงเกือบ 10 เท่า Ministral 3 มีขนาด 3B, 8B และ 14B และมีประสิทธิภาพเทียบเคียงได้กับซีรีส์ Qwen 3-VL บนเบนช์มาร์ก
Modal ให้เหตุผลว่าหลักการประสบการณ์นักพัฒนาแบบเดียวกับที่ช่วยมนุษย์—วงจรป้อนกลับที่รวดเร็ว การเข้าถึงผ่านโปรแกรมด้วย CLI/SDK/API ข้อความข้อผิดพลาดที่นำไปใช้ได้จริง และตัวอย่างที่อยู่ใกล้โค้ดอย่างสม่ำเสมอ—ก็ทำให้เอเจนต์เขียนโค้ดเร็วขึ้นเช่นกัน เพราะเอเจนต์วนซ้ำด้วยการสร้างโค้ด รัน และสังเกตผล ข้อผิดพลาดที่คลุมเครือหรือการตั้งค่าผ่าน UI เท่านั้นจึงทำให้เอเจนต์ชะงัก ดังนั้นการออกแบบสำหรับเอเจนต์หมายถึงการใช้หลักการเดียวกัน而非คิดค้นใหม่
Vapi รองรับ structured outputs สำหรับผู้ช่วยเสียง AI ทั้งหมดแล้ว เพื่อให้ทุกการโทรส่งคืนข้อมูลที่ตรงกับ JSON schema ที่นักพัฒนากำหนด สคีมาถูกบังคับใช้ขณะรันไทม์โดยใช้ความสามารถดั้งเดิมของผู้ให้บริการอย่าง OpenAI, Anthropic, Gemini และอื่น ๆ และสามารถนำกลับมาใช้ซ้ำได้กับผู้ช่วยหลายตัว ข้อมูลที่ดึงออกมาจะมาถึงใน webhook เมื่อการโทรเสร็จสิ้นและผ่าน REST API
Replit เปิดตัว Fast Mode ซึ่งเป็นวิธีที่รวดเร็วกว่าในการสั่ง Agent ของตนให้ทำการเปลี่ยนแปลงเล็กๆ น้อยๆ อย่างแม่นยำ โดยทำงานบนโมเดล agentic ที่มีประสิทธิภาพซึ่งประหยัดกว่ามากเมื่อเทียบกับ Build mode และปรับแต่งมาเพื่อทำคำขอให้เสร็จในจำนวนขั้นตอนที่น้อยที่สุด มุ่งเป้าไปที่การแก้ไขด่วน การปรับแต่งภาพ และฟีเจอร์ขนาดเล็ก Fast Mode เปิดให้ผู้ใช้ Replit ทุกคนใช้งานได้ตั้งแต่วันนี้ และเปิดใช้งานผ่านไอคอนสายฟ้า
Reducto ย้ายเวิร์กโหลดการอนุมานสำหรับโมเดลประมวลผลเอกสารกว่า 30 โมเดลไปยัง Modal ทำให้เวลาแฝง P90 ลดลง 3 เท่า การสแนปช็อตหน่วยความจำ GPU ลดเวลาบูตเย็นลง 83% จากประมาณ 70 วินาทีเหลือประมาณ 12 วินาที ขณะที่พูลออโตสเกลแยกตามลูกค้าแต่ละรายช่วยแยกการรับมือกับปริมาณการใช้งานที่พุ่งสูง ในระหว่างการทดสอบโหลด Reducto ขยายไปป์ไลน์การนำเข้าข้อมูลไปยัง GPU กว่า 1,000 ตัวได้ในเวลาไม่ถึงหนึ่งชั่วโมง เพื่อสาธิตความสามารถ 100,000 หน้าต่อนาที
บล็อกของ Modal อธิบายว่า host overhead ซึ่งเป็นช่วงที่ GPU ว่างรอ CPU เตรียมงาน ปรากฏเป็นการใช้งาน GPU kernel ที่ต่ำในการอนุมาน AI เมื่อ host overhead อยู่ที่ 50% ต้นทุนการอนุมานด้วย GPU จะสูงเป็น 2 เท่าของที่ควรจะเป็น บทความระบุรายละเอียดการแก้ไขที่ใช้ในเอนจินการอนุมานแบบโอเพนซอร์สในสภาพแวดล้อมการผลิต รวมถึงการสร้างเทนเซอร์บนอุปกรณ์แทนการถ่ายโอน และการลดการเรียกใช้ CUDA kernel ที่ไม่จำเป็น
Decagon และ Modal ร่วมมือกันสร้าง Decagon Voice 2.0 โดยลด latency ลง 65% พร้อมปรับปรุงการจดจำเจตนาและคุณภาพการตอบสนอง Decagon fine-tune โมเดลโอเพนซอร์สขนาดกะทัดรัดด้วย SFT และ RL เพื่อเอาชนะโมเดล frontier ขนาดใหญ่กว่า ขณะที่ Modal ฝึกโมเดล draft EAGLE3 แบบกำหนดเองซึ่งมี accept length สูงขึ้น 38% และวิศวกรรม SGLang ใหม่ด้วยตัวจัดตาราง speculative decoding แบบ async เพิ่ม throughput ได้ถึง 12%
Ben Shababo จาก Modal อธิบายขั้นตอนการสร้างบอตเสียงสนทนาบน Modal ด้วยเฟรมเวิร์กโอเพนซอร์ส Pipecat และโมเดลน้ำหนักเปิด ทำได้ค่ามัธยฐานความหน่วงเสียงต่อเสียงประมาณหนึ่งวินาทีเมื่อไคลเอนต์และคอนเทนเนอร์อยู่ใกล้กันทางภูมิศาสตร์ไปป์ไลน์ใช้ NVIDIA parakeet-tdt-0.6b-v3 สำหรับ STT, Qwen3-4B-Instruct-2507 ให้บริการด้วย vLLM, KokoroTTS สำหรับเอาต์พุตเสียง และ ChromaDB กับ all-minilm-l6-v2 สำหรับ RAG บนเอกสารของ Modal โดย Modal Tunnels ข้ามระนาบอินพุตเพื่อเชื่อมต่อ WebSocket และ HTTP ความหน่วงต่ำไปยังบริการ STT, TTS และ vLLM ขณะที่ FunctionCall ที่ผูกกับแต่ละเซสชันสนทนาช่วยกู้คืนการสเกลอัตโนมัติ และการปักหมุดบริการไปยังภูมิภาคใกล้เคียงช่วยลดความหน่วงเครือข่าย
Modal เปิดตัว Volumes v2 ในเวอร์ชันเปิดเบต้าสำหรับทุกแอป พร้อมระบบไฟล์ที่สร้างใหม่เพื่อรองรับทรูพุตที่สูงขึ้น การเข้าถึงแบบสุ่มที่เร็วขึ้น และการเขียนแบบไฮคอนเคอเรนซีอย่างแท้จริงจากหลายร้อยคอนเทนเนอร์ อีกทั้งไม่จำกัดจำนวนไฟล์ที่จัดเก็บ ขณะที่ SDK JavaScript/TypeScript และ Go ก็เข้าสู่เบต้าที่เวอร์ชัน v0.5 เพิ่มออบเจ็กต์ Client แบบรวมศูนย์ และรองรับ Sandboxes, Functions, Images และ Volumes
Modal ได้ร่วมมือกับ Datalab เพื่อให้นักพัฒนาสามารถปรับใช้โมเดลแยกวิเคราะห์เอกสาร Marker และชุดเครื่องมือ OCR Surya บน GPU ของ Modal ได้ในไม่ถึงห้านาที Marker เป็นโมเดลที่มีพารามิเตอร์ต่ำกว่าหนึ่งพันล้าน รองรับมากกว่า 90 ภาษา และเมื่อรันบน Modal จะได้ความเร็วประมาณ 2.2 หน้าต่อวินาทีต่อคอนเทนเนอร์ ซึ่งเร็วกว่าประมาณ 10 เท่าเมื่อเทียบกับ 0.22 หน้าต่อวินาทีบน M4 Mac ที่ใช้ Apple MPS เครื่องมือของ Datalab ยังคงใช้งานฟรีสำหรับการวิจัย การใช้งานส่วนบุคคล และสตาร์ทอัพที่มีเงินทุนหรือรายได้ต่ำกว่า 2 ล้านดอลลาร์ โดยมีสัญญาอนุญาตเชิงพาณิชย์ให้เลือกใช้
Vapi มอบสิทธิ์เข้าถึงโมเดล Sonic-3 TTS ที่เพิ่งเปิดตัวของ Cartesia แบบฟรีและไม่จำกัดให้กับชุมชนของตนผ่านคีย์ API ที่จัดการโดย Vapi ตั้งแต่วันที่ 28 ตุลาคมถึง 2 พฤศจิกายน Sonic-3 เพิ่มแท็กอารมณ์และเสียงหัวเราะ การควบคุมความเร็วและระดับเสียงอย่างละเอียด และรองรับ 27 ภาษาใหม่ Vapi แนะนำให้เริ่มต้นด้วยเสียง Kira และ Ariana สำหรับเอเจนต์ที่มีความหน่วงต่ำและฟังดูเป็นธรรมชาติ
วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและถอดรหัสการทำงานของ attention kernel ที่ปรับแต่งสำหรับ Blackwell เนื่องจากยังไม่มีรายงานทางเทคนิคอย่างเป็นทางการ บทความได้ติดตาม tile หนึ่งผ่านไปป์ไลน์แบบอะซิงโครนัสที่แยกส่วนตาม warp ภายใน kernel และอธิบายเทคนิคทางคณิตศาสตร์สองอย่าง ได้แก่ ฟังก์ชัน exponential แบบซอฟต์แวร์ที่ใช้พหุนามกำลังสามซึ่งสามารถแทนการยกกำลังผ่าน SFU และกฎการปรับสเกลแบบ online softmax ที่ฉลาดกว่าซึ่ง Tri Dao กล่าวว่าลดการแก้ไขลงได้ถึง 10 เท่า มีรายงานว่า FA4 เร็วกว่า attention kernel แบบ closed-source cudnn ของ Nvidia ประมาณ 20% และในขณะที่เขียนยังไม่มีเวอร์ชัน backward
ทำไมเรื่องนี้สำคัญ: วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและอธิบายไปป์ไลน์ที่แยกส่วนตาม warp พร้อมเทคนิคทางคณิตศาสตร์สองอย่าง ซึ่งให้มุมมองที่นำไปประยุกต์ใช้ได้เกี่ยวกับทิศทางของงานออกแบบ CUDA kernel
Modal สร้าง Modal Vibe แพลตฟอร์มสาธิตแบบโอเพนซอร์สสำหรับ vibe coding บน Modal Sandboxes ที่ขยายจาก 0 ถึง 1,000 แอปที่เขียนโค้ดด้วย AI ได้ในเวลาประมาณห้านาที การทดสอบโหลดที่สร้าง 1,000 แอป โดยแต่ละแอปอยู่ใน Sandbox ของตัวเอง ใช้เวลาราว 300 วินาที โดย AI API เป็นขั้นตอนที่จำกัดอัตรา Modal ระบุว่า Team Plan สามารถรัน Sandbox พร้อมกันได้ 1,000 รายการ เพียงพอสำหรับกว่า 1 ล้านเซสชันต่อเดือน
Modal ได้เปิดตัวอัปเดตผลิตภัณฑ์ ซึ่งรวมถึง Modal Notebooks สำหรับการทดลอง Python บนคลาวด์ที่รองรับ GPU B200 สูงสุด 8 ตัว พร้อมพารามิเตอร์ idle_timeout แบบเลือกได้สำหรับ modal.Sandbox.create() ไคลเอนต์ยังเพิ่มพารามิเตอร์ startup_timeout ให้กับเดคอเรเตอร์ @app.function() และ @app.cls() และรูปแบบ API ใหม่สำหรับการจัดการประเภททรัพยากรของ Modal แบบ imperative ต่อมา Modal Notebooks ถูกปิดให้บริการแล้ว แต่ยังสามารถดาวน์โหลดโน้ตบุ๊กที่มีอยู่เป็นไฟล์ .ipynb ได้
Modal เผยรายละเอียดทางวิศวกรรมเบื้องหลัง Modal Notebooks โน้ตบุ๊ก Jupyter บนคลาวด์ที่บูต GPU และอิมเมจกำหนดเองได้ในไม่กี่วินาทีพร้อมการทำงานร่วมกันแบบเรียลไทม์ เคอร์เนลทำงานภายใน Modal Sandboxes โดยมีเดมอน modal-kernelshim แปลงข้อความ Jupyter ZeroMQ เป็น HTTP calls ที่ส่งผ่านทันเนลผ่าน control plane ของ Modal ระบบไฟล์คอนเทนเนอร์ Rust FUSE แบบ lazy-loading ดึงเนื้อหาไฟล์ตามต้องการผ่านแคชแบบหลายชั้น หลีกเลี่ยงความหน่วงจากการแตกอิมเมจซึ่งอาจใกล้ถึงหนึ่งนาทีสำหรับอิมเมจ Python/ML ขนาด 8 GB
Modal Notebooks เปิดให้ใช้งานทั่วไปแก่ลูกค้า Modal ทุกรายแล้ว หลังจากช่วงเบต้าแบบจำกัดเมื่อเดือนที่แล้ว สภาพแวดล้อมโน้ตบุ๊กสำหรับการทำงานร่วมกันนี้ทำงานบนเคอร์เนล Python ที่รองรับ GPU ซึ่งพร้อมใช้งานได้ในไม่ถึง 5 วินาทีบนอิมเมจคอนเทนเนอร์ใดก็ได้และฮาร์ดแวร์สูงสุด 256 vCPU และ 8 H100/B200 GPU พร้อมการปิดอัตโนมัติเมื่อไม่ใช้งาน, Volumes และ Secrets ที่แชร์ร่วมกัน และการแก้ไขแบบหลายเคอร์เซอร์แบบเรียลไทม์ Modal ระบุว่ามีกว่า 5,000 บัญชีที่รัน 200,000 เซลล์โค้ดในช่วงเบต้าเดือนสิงหาคม และฟีเจอร์ที่กำลังจะมาถึง ได้แก่ memory snapshots, การส่งออกไปยัง Modal Apps ด้วยคลิกเดียว และการรันตามกำหนดเวลา
Zencastr ย้ายงานถอดเสียงพอดแคสต์ไปยังแพลตฟอร์ม GPU ของ Modal ขยายกำลังถึง GPU 1,500 ตัวพร้อมกันภายในไม่กี่นาที เพื่อประมวลผลเสียงหลายร้อยปีภายในไม่กี่วัน การเปลี่ยนจากโหนด GPU Kubernetes ที่จัดการเองไปสู่โครงสร้างพื้นฐานแบบ scale-to-zero ของ Modal ช่วยลดต้นทุน GPU ที่ไม่ได้ใช้งาน และขจัดภาระการจัดการไดรเวอร์และ dependencies ทั้งหมด งาน ML หลักทั้งหมดทำงานบน Modal แล้ว รวมถึงการถอดเสียง การนับจำนวนผู้พูด การตรวจจับเสียงหัวเราะ และการให้คะแนนคุณภาพเสียง
Modal เพิ่ม GPU memory snapshots ในเวอร์ชัน alpha ช่วยลด cold boot สำหรับงาน GPU ได้ 10 เท่าโดยข้ามขั้นตอนอย่าง Torch compilation เปิดใช้งานผ่านตัวเลือก enable_gpu_snapshot การอัปเดตนี้ยังนำ Modal Notebooks ในเวอร์ชัน beta สำหรับรัน Python ในเบราว์เซอร์, Service Tokens สำหรับผู้จัดการ workspace และ UI ที่สร้างโดยเบราว์เซอร์สำหรับ Functions ที่ deploy แล้ว
Modal ประกาศเปิดตัว GPU memory snapshots ในเวอร์ชัน alpha โดยขยายระบบ checkpoint/restore ที่มีอยู่ให้สามารถบันทึก GPU vRAM, CUDA kernels, streams และ contexts เพื่อให้ GPU workloads กู้คืนจากสถานะที่หยุดไว้แทนการสร้าง CUDA state ใหม่หลังบูต
ทำไมเรื่องนี้สำคัญ: Modal เพิ่ม GPU state เข้าไปใน memory snapshots ของตน ช่วยลดเวลา cold boot สำหรับ torch.compile และ vLLM workloads ได้มากถึง 10 เท่า และทำให้ scale-to-zero ใช้งานได้จริงมากขึ้น
AI code sandbox คือสภาพแวดล้อมแบบแยกส่วนที่รันโค้ดที่สร้างโดย LLM ในขณะใช้งาน เพื่อจำกัดขอบเขตผลกระทบจากข้อผิดพลาดหรือช่องโหว่ที่ถูกแทรกเข้ามา การใช้งานในปัจจุบันรันบน VM หรือคอนเทนเนอร์ โดยมักใช้รันไทม์ที่ปลอดภัยอย่าง gVisor เพื่อดักจับ syscall และปกป้องโฮสต์ บริษัทส่วนใหญ่เลือกใช้บริการ sandbox แบบ managed แทนการสร้างเองด้วย Kubernetes เนื่องจาก cold start และการขยายระบบรองรับหลายล้านเซสชันพร้อมกันมีต้นทุนสูง