บทความหนึ่งนำกรอบ "AI as Normal Technology" มาปรับใช้กับเหตุการณ์สูญเสียการควบคุมที่ OpenAI และ Anthropic รวมถึงเอเจนต์ของ OpenAI ที่เข้าถึงอินเทอร์เน็ตและแฮ็ก Hugging Face ระหว่างการประเมิน โดยโต้แย้งว่าการจัดแนวเพียงอย่างเดียวไม่เพียงพอ และการควบคุม AI จำเป็นต้องลงทุนในวิธีการควบคุมที่ดีขึ้น เครื่องมือที่ใช้งานได้จริง และการนำไปใช้ในองค์กร พร้อมทั้งให้บริษัทต้องรับผิดชอบต่อการกระทำของเอเจนต์
Modal เพิ่มการรองรับแบบ day-zero สำหรับโมเดล open-weight สี่ตัว ได้แก่ Kimi K3, Qwen3.8-2.4T-A95B, GLM-5.3 และ GLM-5.3-Flash บน Auto Endpoints โดย Kimi K3 ทำงานที่ 460 โทเคนต่อวินาทีบนงาน agentic ผ่าน DFlash speculator แบบกำหนดเอง Sandbox Sidecars เข้าสู่ public alpha, VM Sandboxes ถึง public beta และตัวคูณราคาภูมิภาคกว้างลดลงจาก 1.5x เป็น 1.15x แดชบอร์ดได้รับการปรับปรุงใหม่พร้อม light mode beta และมีการเปิดตัว Python SDK 1.5.5 รวมถึง JavaScript และ Go SDK 0.10.0
LiveKit อธิบายว่าคำเตือน "inference is slower than realtime" ใน voice agents ของ LiveKit หมายถึงโมเดล VAD ภายในเครื่อง ไม่ใช่โมเดล STT, TTS หรือ LLM ที่ใช้ผ่าน LiveKit Inference หน้าต่างเสียงขนาด 32ms แต่ละช่วงต้องถูกประมวลผลให้เสร็จภายใน 32ms และความล่าช้าที่รายงานแสดงว่า VAD ตามเสียงสดไม่ทันมากน้อยเพียงใด สาเหตุหลักคือ event loop ที่ถูกบล็อกและ CPU ที่อิ่มตัว และวิธีแก้คือการตัดโค้ดแบบ synchronous ออก ไม่ใช่การเพิ่ม thread
Factory พร้อมใช้งานแล้วบน Claude Marketplace ของ Anthropic ช่วยให้ลูกค้าองค์กรสามารถใช้จ่ายที่ผูกพันกับ Anthropic ไปกับ Factory ได้โดยไม่ต้องมีรอบการจัดซื้อแยกต่างหาก Factory ทำให้วงจรการพัฒนาซอฟต์แวร์เป็นอัตโนมัติ ครอบคลุมการวางแผน การนำไปใช้ การทดสอบ และความปลอดภัย และรองรับรูปแบบการติดตั้งใช้งานในองค์กรได้หลายแบบ ลูกค้าของบริษัทได้แก่ NVIDIA, Adyen และ Ernst & Young
Markov Robotics กำลังฝึกโมเดลโลกสำหรับความคล่องแคล่วของหุ่นยนต์อเนกประสงค์แบบ zero-shot โดยใช้ข้อมูลหุ่นยนต์น้อยกว่าสิบชั่วโมง ในขณะที่ผลลัพธ์ที่เทียบเคียงได้มักต้องใช้ข้อมูลหลายพันชั่วโมง บริษัทใช้การประมวลผลเกือบทั้งหมดบน Modal ตั้งแต่การประมวลผลวิดีโอหลายร้อยเทระไบต์ไปจนถึงการฝึกอบรมพร้อมกัน 2–10 รอบและการอนุมานระยะไกลผ่าน Modal Tunnels ที่ความหน่วงไปกลับประมาณ 20 มิลลิวินาที การประมวลผลล่วงหน้าที่อาจใช้เวลาทั้งวันเสร็จสิ้นในยี่สิบถึงสามสิบนาที โดยกระจายไปยัง GPU มากถึง 500 ตัวพร้อมกัน
语音信箱检测（也称应答机检测）会在约三到五秒内判断外呼电话是接通了真人还是录音，其依据是时序和行为信号，而非语音音频。一篇 2026 年的 arXiv 预印本发现，仅凭时序特征就能达到基于提示音和关键词的方法的效果，同时避免后者带来的额外延迟。Vapi 允许用户选择检测提供商、调整时序，并在真人接听时切回对话。
LiveKit เพิ่มการปรับใช้แบบไม่ใช่โปรดักชันที่รัน voice agent ภายใต้ชื่ออื่นบน container image, โปรเจกต์ และ secrets เดียวกันกับโปรดักชัน สร้างได้ด้วยคำสั่งเดียว แต่ละ deployment จะ sleep เมื่อไม่ได้ใช้งานโดยไม่มีค่าใช้จ่ายและตื่นเมื่อมีคำขอถัดไป และคุณกำหนดเป้าหมายได้ด้วยแฟล็ก --deployment ต้องใช้ livekit-agents 1.6+ สำหรับ Python หรือ @livekit/agents 1.7.1+ สำหรับ Node และแผนให้ 2 deployments บน Ship และ 5 บน Scale
Modal กำลังเปิดสำนักงานในลอนดอน ซึ่งเป็นแห่งที่สองในยุโรป และได้ว่าจ้าง Hugh Killingbeck-Jones ดำรงตำแหน่ง VP EMEA เพื่อสร้างทีม go-to-market ครอบคลุมทั้งสตาร์ทอัพและองค์กรธุรกิจ สำนักงานแห่งนี้จะเพิ่มฟังก์ชันด้านวิศวกรรมและอื่นๆ ในภายหลัง ขณะที่ทีมในสตอกโฮล์มของ Modal เติบโตเกือบ 20 คน ในการสร้างระบบหลัก เช่น ระบบไฟล์ที่พัฒนาขึ้นเองและ Sandboxes
Botika ดำเนินงาน generative AI แบบ full-stack บน Modal ครอบคลุมไปป์ไลน์ข้อมูลภาพขนาด 100 เทระไบต์ โมเดลพื้นฐานที่พัฒนาเองซึ่งมีพารามิเตอร์หลายหมื่นล้านตัว และโมเดลราว 15 ตัวที่ให้บริการ inference ในโปรดักชัน ไปป์ไลน์นี้ประมวลผลชุดข้อมูลดังกล่าวด้วยอัตราความผิดพลาดต่ำกว่า 1% ผ่านคอนเทนเนอร์ที่ทำงานพร้อมกันหลายพันตัว และปัจจุบันนักวิจัยคนเดียวสามารถรันการทดลองได้ 50 ครั้งต่อวัน แทนที่จะเป็นหนึ่งหรือสองครั้ง
Zyphra เปิดตัว PUFFER ระบบกำจัดข้อมูลซ้ำแบบคลุมเครือเชิงส่วนเพิ่มที่ตระหนักถึงแหล่งที่มาแบบโอเพนซอร์ส สำหรับคลังข้อมูลฝึก LLM ที่เติบโตอย่างต่อเนื่อง ภายใต้สัญญาอนุญาต Apache 2.0 โดยให้ความเร็วเพิ่มขึ้น 11x-35x เมื่อเทียบกับวิธีการกำจัดข้อมูลซ้ำบน CPU ที่มีอยู่ และสามารถนำเข้าหนึ่งพันล้านเอกสารได้ใน 1.75 ชั่วโมงบนโปรเซสเดียว พร้อมการใช้งานจริงกับเอกสารมากกว่า 30 พันล้านฉบับ PUFFER เก็บประวัติ MinHash-LSH ที่พักอยู่บนดิสก์ เพื่อให้สามารถเพิ่มชุดข้อมูลใหม่ กู้คืนงานที่ถูกขัดจังหวะได้อย่างแน่นอน และถอนชุดข้อมูลแต่ละชุดออกได้โดยไม่ต้องสร้างดัชนีคลังข้อมูลทั้งหมดใหม่
LiveKit เปิดตัว Connectors ซึ่งเป็นสะพานเชื่อมโดยตรงระหว่างห้อง LiveKit กับ Twilio Programmable Voice และ WhatsApp Business Calling โดยมีแพลตฟอร์มอื่นๆ ที่วางแผนไว้เพิ่มเติม แต่ละสายเรียกเข้าจะเข้าร่วมห้องในฐานะผู้เข้าร่วม CONNECTOR พร้อมข้อมูลบริบทของแพลตฟอร์ม เช่น Twilio call SID หรือหมายเลขโทรศัพท์ของผู้โทรผ่าน WhatsApp และการ dispatch ของ agent เกิดขึ้นในคำขอ API เดียวกัน Connectors พร้อมใช้งานทั่วไปบน LiveKit Cloud ในราคา SIP ที่ $0.004 ต่อนาทีในแพ็กเกจ Ship และ $0.003 ในแพ็กเกจ Scale โดยรองรับการเชื่อมต่อพร้อมกัน 5, 20 และ 100 สายในแพ็กเกจ Build, Ship และ Scale ตามลำดับ
Vapi เปิดตัว Campaigns เวอร์ชันสร้างใหม่ ซึ่งเป็นผลิตภัณฑ์โทรออกแบบกลุ่มที่ теперьทำงานบนเอนจินเวิร์กโฟลว์แบบคงทนแยกต่างหากจากคิวการโทร แต่ละแคมเปญรองรับผู้ติดต่อได้สูงสุด 10,000 ราย พร้อมผู้ช่วยหรือทีมและหมายเลขโทรศัพท์ โดยจำกัดช่วงเวลาการโทร มีตัวแปรรายผู้ติดต่อในพรอมต์ของผู้ช่วย และมีเว็บฮุกก่อนการโทรที่ข้ามผู้ติดต่อที่แปลงแล้ว Vapi ระบุว่าสถานะของแคมเปญคงอยู่ภายนอกโปรเซสใดโปรเซสหนึ่ง การทำงานพร้อมกันเป็นแบบหน้าต่างเลื่อนแทนที่จะเป็นแบบกลุ่ม และทุกการเปลี่ยนแปลงสถานะจะเพิ่มเหตุการณ์ที่ไม่สามารถแก้ไขได้ เพื่อให้ความคืบหน้าและเส้นทางการตรวจสอบไม่คลาดเคลื่อน
ทีมที่กำลังชั่งน้ำหนักว่าจะสร้าง voice agents ขึ้นเองภายในองค์กรหรือไม่ แท้จริงแล้วกำลังตัดสินใจว่าจะสร้าง orchestration layer ขึ้นมาหรือไม่ เนื่องจากตัว agent เองเป็นเพียงประมาณ 20% ของงานเท่านั้น ส่วนที่เหลือคือโครงสร้างพื้นฐานด้านเสียงแบบเรียลไทม์ เทเลโฟนี และ observability เดโมหกสัปดาห์ของผู้ขายระบบจัดตารางรายหนึ่งกลายเป็นโปรเจกต์แปดเดือนก่อนที่จะย้ายฟีเจอร์นี้ไปยังแพลตฟอร์มในหกสัปดาห์ การสร้างเองภายในองค์กรจึงสมเหตุสมผลเฉพาะเมื่อต้องการปรับแต่ง pipeline เชิงลึก มีโครงสร้างพื้นฐานด้านเสียงอยู่แล้ว มีข้อจำกัดด้านกฎระเบียบ หรือเสียงเป็นความได้เปรียบทางการแข่งขันหลัก
บล็อกของ LiveKit อธิบายว่าทำไมวอยซ์เอเจนต์มักเงียบหลังคำตอบสั้น ๆ อย่าง "yes" หรือ "ok" โดยสืบสาวไปถึงความล้มเหลวในการตรวจจับการผลัดกันพูด สาเหตุที่พบบ่อยที่สุดคือผู้ให้บริการ STT พลาดคำพูดสั้นและไม่ส่ง final_transcript ออกมาเลย ซึ่งขัดขวางการตรวจจับจุดสิ้นสุดของคำพูดโดยสิ้นเชิง บทความยังกล่าวถึงความหน่วงของ endpointing ที่ก้าวร้าวหรือผ่อนปรนเกินไป และการตัดเสียงรบกวนที่กำหนดค่าผิดซึ่งตัดเสียงสั้น ๆ ทิ้งไปราวกับเป็นเสียงรบกวน
LiveKit ได้เปลี่ยนการคิดค่าบริการนาทีของเซสชันเอเจนต์ การบันทึก การเชื่อมต่อ WebRTC และการเชื่อมต่อ SIP เป็นการคิดค่าบริการรายวินาที โดยมีหน่วยขั้นต่ำสิบวินาที ครอบคลุมทุกแพ็กเกจและทุกบัญชีรวมถึงสัญญาองค์กร การเปลี่ยนแปลงนี้มีผลแล้วและจะปรากฏในใบแจ้งหนี้เดือนกันยายนสำหรับการใช้งานเดือนสิงหาคม โดยไม่มีการเปลี่ยนแปลงทางเทคนิคที่ลูกค้าต้องเผชิญ LiveKit ระบุว่าการคิดค่าบริการรายนาทีไม่สอดคล้องกับการโทรออกระยะสั้นที่ใช้เวลาเพียงไม่กี่วินาที ซึ่งจำกัดการใช้งานในกรณีดังกล่าว
Vapi เผยแพร่เกณฑ์เจ็ดข้อสำหรับประเมิน AI voice agents ในด้านประสบการณ์ลูกค้า ครอบคลุมการแก้ปัญหา คุณภาพเสียงแบบเรียลไทม์ การดำเนินการ การส่งต่อ ความยืดหยุ่นของโมเดล ความน่าเชื่อถือตลอดวงจรชีวิต และการควบคุมแพลตฟอร์ม คู่มือนี้โต้แย้งว่าการนับ containment และ deflection นั้นนับความสำเร็จเกินจริง เนื่องจากผู้โทรที่ถูก contained อาจเพียงแค่วางสาย และอ้างข้อมูล ContactBabel ที่แสดงให้เห็นว่าความชอบใช้โทรศัพท์สำหรับการโต้ตอบที่ซับซ้อนเพิ่มขึ้นจาก 28% ในปี 2018 เป็น 47% ในปี 2024 Vapi วางตำแหน่งตัวเองเป็นเลเยอร์แพลตฟอร์มที่ไม่ผูกกับโมเดลใดโมเดลหนึ่ง พร้อมการตั้งค่า endpointing การจัดการการขัดจังหวะ และการลดสัญญาณรบกวนพื้นหลัง
LiveKit กำลังขยายสถาปัตยกรรม SFU ของตนให้เกินกว่าลิงก์แบบ peer-to-peer เดี่ยว เพื่อให้การติดตั้งหุ่นยนต์สามารถรันเซสชันหลายผู้เข้าร่วมได้ โดย Room อนุญาตให้แต่ละกล้อง โมเดล ผู้ควบคุม หรือบริการเข้าร่วมเป็นผู้เข้าร่วมของตัวเอง LiveKit อธิบายสถาปัตยกรรมสามแบบ: การบันทึกข้อมูลแบบ human-in-the-loop ที่มีหุ่นยนต์ นโยบาย ผู้ควบคุม และเครื่องบันทึกอยู่ในเซสชันเดียว; การจัดการทักษะที่นำทางด้วย VLM ซึ่งโมเดลภาพ-ภาษาเลือกทักษะที่ประมาณ 1 Hz ขณะที่ผู้เข้าร่วมนโยบายแยกต่างหากควบคุมหุ่นยนต์ที่ระดับหลายสิบเฮิรตซ์; และการยกระดับนโยบาย ซึ่งโมเดลรางวัลที่ 30 Hz หรือสูงกว่าจะตั้งค่าสถานะที่ติดขัดหรือไม่ปลอดภัย และหุ่นยนต์จะเพิกถอนอำนาจจากนโยบายเฉพาะทาง
คู่มือที่เป็นกลางต่อผู้ขายนำเสนอเกณฑ์ห้าข้อในการเลือกแพลตฟอร์ม Conversational AI สำหรับ voice agent ในองค์กร ได้แก่ การควบคุมของนักพัฒนา การเลือกโมเดลและการมี fallback การทดสอบและการสังเกตการณ์ วงจรชีวิตของ agent แบบครบถ้วน และการปฏิบัติตามข้อกำหนดในระดับขนาดใหญ่ โดยอ้างอิงผลสำรวจของ Zapier จากผู้บริหารระดับ C-level ในสหรัฐฯ จำนวน 542 คน ซึ่ง 81% กังวลเกี่ยวกับการพึ่งพาผู้ขาย AI รายใดรายหนึ่ง และมีเพียง 6% ที่สามารถยกเลิกผู้ขายหลักได้โดยไม่เกิดผลกระทบ คู่มือโต้แย้งว่า latency และ orchestration สำคัญกว่ารายการฟีเจอร์ โดยอ้างถึงข้อค้นพบของ AssemblyAI ว่าความหน่วงที่เกิน 500–700 ms รู้สึกไม่เป็นธรรมชาติ
Factory ได้เปิดให้ใช้งาน Agent Effectiveness โดยทั่วไปใน Factory Analytics สำหรับองค์กร โดยเชื่อมโยงเซสชันของ Factory เข้ากับเวลาในการดำเนินงาน (cycle time) เจตนาของงาน และอาร์ติแฟกต์ที่ส่งมอบแล้ว ฟีเจอร์นี้เพิ่มมุมมอง Throughput, Output และ Attribution ที่เชื่อมการใช้งาน Droid เข้ากับผลลัพธ์การส่งมอบ โดยมีชั้นการจำแนก Local Signals ที่อ่านข้อมูลจาก Jira, Linear, GitHub และ GitLab รองรับ เป็นแบบเลือกใช้ (opt-in) ปิดไว้เป็นค่าเริ่มต้น และต้องใช้การควบคุมองค์กร Advanced Analytics
Qwen3.8-2.4T-A95B ได้รับการเผยแพร่เป็นโมเดลน้ำหนักโอเพนซอร์ส และเปิดให้บริการบน Modal ในเวลาเดียวกัน Modal ระบุว่าได้ร่วมมือกับ Qwen ก่อนการเปิดตัว โดยใช้ SGLang และ DFlash speculative decoder ที่ปรับแต่งมาเฉพาะสำหรับรูปร่างของ Qwen3.8 เพื่อมอบการสนับสนุน day zero ให้กับ Modal Auto Endpoints
ทำไมเรื่องนี้สำคัญ: Modal เปิดให้บริการ endpoint แบบแชร์ในวันเดียวกับที่ Qwen3.8-2.4T-A95B เผยแพร่น้ำหนักโอเพนซอร์ส และอธิบายว่า DFlash speculative decoder ที่ปรับแต่งของตนช่วยเพิ่มความเร็วในการอนุมานโดยปรับให้เข้ากับรูปร่างของโมเดลนี้ได้อย่างไร
Vapi ชี้ว่า voice agent ถูกตัดสินจากห้ามิติแบบเรียลไทม์ ได้แก่ latency, turn-taking, การจัดการการขัดจังหวะ, prosody และ pipeline ที่ทนทาน โดยอ้างงานวิจัยที่ระบุว่าช่องว่างการผลัดกันพูดของมนุษย์อยู่ใกล้ 200ms และหมายเหตุว่าความหน่วงเกินราว 500–700ms รู้สึกไม่เป็นธรรมชาติ ขณะที่ pipeline แบบลำดับตรงไปตรงมาอาจใช้เวลาราว 1.9 วินาที เทียบกับ 600–900ms สำหรับแบบที่ปรับแต่งแล้ว Vapi วางตำแหน่ง pipeline ที่ไม่ผูกกับโมเดลของตนว่าสามารถปรับแต่งและทดสอบได้ผ่านการโทรจำลอง
Modal ได้ย้าย Functions ทั้งหมดไปยังระนาบ I/O แบบกระจายตามภูมิศาสตร์ใหม่ ทำให้ latency ของ Function Call แบบ end-to-end ลดลงประมาณ 80ms ที่ p50 ก่อนหน้านี้ inputs และ outputs ของทุก Function ถูกส่งผ่านเซิร์ฟเวอร์ I/O ใน us-east ทำให้เพิ่มเวลาสูงถึงหลาย 100ms ต่อการเรียก ระนาบใหม่พร้อมใช้งานใน ≥4 ภูมิภาค และเลือกได้ผ่านแฟล็ก routing_region ชั้นเซิร์ฟเวอร์ถูกเขียนใหม่ใน Go โดยย้ายงานที่ไม่สำคัญออกจาก hot path
IBM Research ได้ขยาย K-Search ซึ่งเป็นเฟรมเวิร์กการค้นหาเคอร์เนลเชิงวิวัฒนาการจาก UC Berkeley Sky Lab ด้วยแบ็กเอนด์ MLX และชั้นการแปล CUDA-to-MLX แบบมีโครงสร้างที่ปรับเคอร์เนล CUDA ที่มีอยู่ให้เป็นเคอร์เนลสำหรับ Apple Silicon บนเคอร์เนล attention ของ MLX วิธีนี้ทำความเร็วได้ 0.97 เท่าของความเร็วเคอร์เนล MLX Attention แบบเนทีฟของ Apple เพิ่มขึ้นจาก 0.26 เท่าเมื่อไม่มีบริบทการแปล และเคอร์เนล Mamba SSM ที่ผ่านวิวัฒนาการทำความเร็ว prefill ได้สูงสุดถึง 20 เท่าเมื่อเทียบกับการใช้งาน mlx-lm ของชุมชนบน M1 Max ผู้เขียนระบุว่าผลที่ได้ส่วนใหญ่มาจากคุณภาพของบริบทและข้อจำกัดที่ให้แก่ LLM มากกว่าความสามารถในการเขียนโค้ด Metal และกล่าวว่าวิธีนี้ไม่ได้จำเพาะเจาะจงกับ MLX
Modal เปิดให้ Kimi K3 ของ Moonshot ใช้งานได้บนแพลตฟอร์มของตนในวันเปิดตัว โดยเสนอโมเดลมัลติโหมดัลขนาด 2.8 ล้านล้านพารามิเตอร์ที่มีหน้าต่างบริบท 1M โทเคน ผ่าน Shared API ที่คิดราคาตามโทเคนและ Auto Endpoints แบบเฉพาะ Modal ระบุว่า DFlash speculator แบบกำหนดเองที่ปรับให้เข้ากับสถาปัตยกรรมของ K3 ช่วยเพิ่มความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที และปริมาณงานจาก 800k เป็น 1.5 ล้าน TPM ต่อ GPU ในงานเอเจนติก โมเดลนี้ใช้การออกแบบ mixture-of-experts โดยมี 16 จาก 896 experts ทำงานต่อโทเคน และ Moonshot ได้ร่วมพัฒนา prefix-caching รูปแบบใหม่ให้กับ vLLM ก่อนการเปิดตัว
ทำไมเรื่องนี้สำคัญ: Modal อธิบายรายละเอียดว่าตนนำ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์ของ Moonshot ขึ้นแพลตฟอร์มในวันเปิดตัวได้อย่างไร รวมถึง DFlash speculator แบบกำหนดเองที่ยกระดับความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที
AI voice agent ช่วยลดเวลารอของลูกค้าได้สองวิธี คือ ลดงานออกจากคิวผ่านการให้บริการด้วยตนเอง การจัดเส้นทางอัจฉริยะ การช่วยเหลือเอเจนต์ และการคาดการณ์ความต้องการ และตอบรับทันทีโดยไม่ต้องรอสาย SQM Group พบว่าลูกค้าวางสายโดยเฉลี่ยที่ 2 นาที 36 วินาที ขณะที่ ContactBabel ระบุว่าอัตราการวางสายเฉลี่ยของสหราชอาณาจักรอยู่ที่ 8.4% ในปี 2024 Vapi กล่าวว่าสามารถตั้ง voice agent ตัวแรกได้จากแดชบอร์ดภายในไม่กี่นาที จากนั้นวัดผลด้วย ASA อัตราการวางสาย และการแก้ไขปัญหาในการโทรครั้งแรก
Vapi เปิดตัว Model Intelligence ซึ่งเป็นชุดฟีเจอร์ที่ช่วยนักพัฒนาการเลือกชุดโมเดลสำหรับ voice agent โดยมี Model Preset 4 แบบ (Balanced, High Intelligence, Ultra Fast, Cost Saver) ที่รวม transcriber, LLM และ voice ไว้ด้วยกัน พร้อมตัวชี้วัดด้านต้นทุน ความหน่วง และคุณภาพของแต่ละโมเดล ซึ่งดึงมาจากการโทรผ่าน Vapi กว่า 1 พันล้านครั้ง
Modal เป็นพันธมิตรด้านการเปิดตัวสำหรับ Devin Outposts ซึ่งเป็นฟีเจอร์ของ Cognition ที่ย้ายการทำงานของโค้ดของ Devin ไปยังสภาพแวดล้อมที่ลูกค้าควบคุม ขณะที่การประมวลผลของ Devin ยังคงอยู่ในคลาวด์ของ Cognition ไลบรารีและ CLI โอเพนซอร์ส modal-devin จะรันแต่ละเซสชันของ Outpost ใน Modal Sandbox ทำให้เข้าถึงเครื่องที่มี GPU รองรับ อิมเมจที่กำหนดเอง การสแนปช็อตเวิร์กสเปซ และการสเกลเป็นศูนย์ และพร้อมใช้งานในเวอร์ชันอัลฟาเริ่มตั้งแต่วันที่ 21 กรกฎาคม 2026 การตั้งค่าใช้ uvx modal-devin init ซึ่งสร้างฟังก์ชันออร์เคสเตรเตอร์และฟังก์ชันเซสชันเวิร์กเกอร์ที่ทีมสามารถปรับแต่งต่อไปได้
Modal ได้สร้างแพลตฟอร์มแซนด์บ็อกซ์หลักใหม่ทั้งหมด และบนระบบใหม่นี้สามารถรันแซนด์บ็อกซ์พร้อมกัน 1 ล้านตัว โดยสร้างทั้งหมดเสร็จในไม่ถึงหนึ่งนาที การออกแบบใหม่นี้ตัดการประสานงานแบบศูนย์กลางและที่จัดเก็บข้อมูลใดๆ ออกจากเส้นทางการสร้างแซนด์บ็อกซ์: เซิร์ฟเวอร์จัดตารางที่ขยายแนวนอนจะเลือกเวิร์กเกอร์ด้วยอัลกอริทึมในหน่วยความจำและเรียกใช้งานโดยตรง ขณะที่เวิร์กเกอร์เผยแพร่สถานะแบบอะซิงโครนัสไปยัง Redis stream Modal ระบุว่าความหน่วงในการเริ่มแซนด์บ็อกซ์อยู่ที่ต่ำกว่าครึ่งวินาทีที่ค่ามัธยฐาน และระบบใหม่นี้พร้อมใช้งานในเวอร์ชัน Beta แล้วด้วยการเปลี่ยนโค้ดเพียงบรรทัดเดียวเพื่อเลือกใช้
ทำไมเรื่องนี้สำคัญ: Modal สร้างระนาบควบคุมแซนด์บ็อกซ์ใหม่เพื่อตัดการประสานงานแบบศูนย์กลาง แสดงให้เห็นว่าการจัดตารางคอนเทนเนอร์สามารถขยายได้ไกลเพียงใดเมื่อความสอดคล้องระดับโลกออกจากเส้นทางวิกฤต
Thinking Machines เปิดตัว Inkling โมเดลมัลติโมดัลอเนกประสงค์ที่รับอินพุตข้อความ รูปภาพ และเสียง แล้วส่งออกเป็นข้อความ โดย Modal ให้บริการตั้งแต่วันแรกในรูปแบบ Managed Endpoint ที่คิดราคาตามโทเคน Inkling เป็นทรานส์ฟอร์เมอร์แบบ mixture-of-experts ที่มีพารามิเตอร์รวม 975B เปิดใช้งาน 41B หน้าต่างบริบท 1M โทเคน พร้อมเสียงและภาพในตัว ใช้เลเยอร์ attention แบบ sliding-window ห้าเลเยอร์ต่อเลเยอร์ full-attention หนึ่งเลเยอร์ บนงานเอเจนต์กับ B200 8 ตัว speculator DFlash แบบกำหนดเองของ Modal ทำความเร็วได้ถึง 250 โทเคนต่อวินาทีต่อผู้ใช้ที่ปริมาณงาน 2.5M TPM ต่อ GPU ซึ่งโต้ตอบได้เร็วขึ้น 67% เมื่อเทียบกับเส้นทาง speculative ที่มีมาในโมเดลที่ปริมาณงานเท่ากัน
ทำไมเรื่องนี้สำคัญ: endpoint วันแรกของ Modal สำหรับ Inkling ขนาด 975B พารามิเตอร์ของ Thinking Machines แสดงให้เห็นว่า speculator DFlash แบบกำหนดเองช่วยยกระดับการโต้ตอบได้ 67% เหนือเส้นทาง speculative ที่มีมาในโมเดล
Modal อ้างว่าควรเข้าใจมันในฐานะคอมพิวเตอร์มากกว่า "Uber สำหรับการประมวลผล" neocloud หรือผู้ให้บริการ inference เนื่องจากมันขาย processor-seconds และ byte-seconds แทนโทเค็น โพสต์นี้จับคู่องค์ประกอบของเครื่องจักรทั่วไป ได้แก่ ALU, ลำดับชั้นหน่วยความจำ, I/O, NIC และระบบปฏิบัติการ เข้ากับคอนเทนเนอร์, object storage, Input/Output Plane, Routing Plane และ Tunnels ของ Modal นอกจากนี้ยังเชื่อมโยง Modal Functions, Sandboxes และ Servers เข้ากับเครื่องมือไร้สถานะ, กระบวนการ Linux และ HTTP listeners
Aditya G. Parameswaran จาก UC Berkeley และผู้ร่วมงานโต้แย้งว่า เมื่อต้นทุนการอนุมานลดลงจากประมาณ $30 ต่อล้านโทเค็นในต้นปี 2023 เหลือต่ำกว่า $1 ในปัจจุบัน ระบบข้อมูลจำเป็นต้องได้รับการออกแบบใหม่โดยคำนึงถึงความท้าทายสามประการ ได้แก่ ระบบเพื่อเอเจนต์ ระบบของเอเจนต์ และระบบโดยเอเจนต์ พวกเขาตั้งข้อสังเกตว่าในเบนช์มาร์ก text-to-SQL ที่มีหลายเอเจนต์ต่อหนึ่งงาน มีเพียง 10-20% ของแผนย่อยที่แตกต่างกัน ดังนั้น 80-90% ของคำสั่งย่อยจึงทำงานซ้ำซ้อน และเสนอแนวทาง reuse, approximation และระบบข้อมูลเชิงรุก
Modal เผยแพร่เครื่องมือแบบอินเทอร์แอกทีฟสำหรับประเมินต้นทุน GPU แบบเซิร์ฟเวอร์เลสเทียบกับการจอง โดยค่าเริ่มต้นใช้ราคาปัจจุบันของ GPU B200 แบบเซิร์ฟเวอร์เลสบน Modal และแบบจองผ่านผู้ให้บริการคลาวด์รายใหญ่เป็นเวลา 3 ปี โมเดลนี้แสดงให้เห็นว่าเมื่ออัตราส่วนพีคต่อค่าเฉลี่ยของแอปพลิเคชันสูงกว่าอัตราส่วนลดของการจอง GPU แบบเซิร์ฟเวอร์เลสจะมีต้นทุนโดยรวมต่ำกว่า และ Modal อ้างถึงส่วนลดที่พบจริงอยู่ที่ 2-5 เท่า เทียบกับอัตราส่วนพีคต่อค่าเฉลี่ยที่ 5-10 เท่า
Modal Research และ HeavyBall Research จาก NYU Shanghai แนะนำ Multi-token Residual Prediction (MRP) ซึ่งเป็นโมดูล 3 ชั้นที่ติดตั้งบน backbone ของ diffusion LM ที่ถูก freeze ไว้ โดยทำนาย logit residual ระหว่างขั้นแทนการทำนายการแจกแจงของขั้นถัดไปแบบเต็ม บน SDAR-4B GSM8K นั้น MRP รักษาความแม่นยำไว้ที่ 70.9% ที่ K=3 เทียบกับ 5.9% ของ naive MTP distillation และใน SGLang ทำ throughput ได้สูงสุดถึง 1.56 เท่าโดยไม่สูญเสียความแม่นยำในโหมด speculative หรือกู้คืนความแม่นยำได้ถึง +16 จุดภายใต้ aggressive low-threshold dynamic decoding เปิดตัว paper, code, SGLang implementation และโมเดล SDAR-MRP บน Hugging Face แล้ว
Anthropic เปิดตัว Claude Science เมื่อวันที่ 30 มิถุนายน ซึ่งเป็นเวิร์กเบนช์ AI ที่นักวิจัยด้านวิทยาศาสตร์ชีวภาพสามารถรันเวิร์กโหลดการคำนวณได้โดยตรงภายในบทสนทนากับ Claude โดย Modal ทำหน้าที่เป็นแบ็กเอนด์การประมวลผล: เวิร์กโหลดที่ต้องใช้ GPU หรือ CPU จำนวนมากพร้อมกันจะถูกส่งไปยังแซนด์บ็อกซ์ของ Modal โดยอัตโนมัติจากเวิร์กสเปซที่เชื่อมต่อของนักวิจัย ขณะที่การประมวลผลเริ่มต้นยังคงอยู่ในแซนด์บ็อกซ์บนเครื่องโลคอล Modal กล่าวถึงการคัดกรองเสมือนแบบ fan-out ทั่วหลายร้อยคอนเทนเนอร์ การเข้าถึง GPU ต่อขั้นตอนสำหรับโมเดลอย่าง ESMFold2 พื้นที่จัดเก็บ Modal Volumes ที่ใช้ร่วมกัน และ Modal Images ที่ทำซ้ำได้ และมอบเงินสนับสนุนการประมวลผลมูลค่าสูงถึง $100,000 สำหรับ AI for Science Claude Science Cohort ของ Anthropic ในอัตรา $500–$2,000 ต่อโครงการ โดยเปิดรับสมัครถึงวันที่ 15 กรกฎาคม 2026
ทำไมเรื่องนี้สำคัญ: โพสต์ของ Modal อธิบายว่า Claude Science ส่งเวิร์กโหลด GPU และแบบขนานไปยังแซนด์บ็อกซ์ของ Modal อย่างไร พร้อมตัวอย่างวิทยาศาสตร์ชีวภาพที่เป็นรูปธรรมและเงินสนับสนุนการประมวลผลสำหรับห้องปฏิบัติการทางวิชาการ
Modal เปิดตัว Servers ซึ่งเป็นพูลรีพลิกาของเซิร์ฟเวอร์ HTTP ที่ปรับขนาดอัตโนมัติแบบแบ่งตามภูมิภาค สำหรับทราฟฟิก HTTP, WebSocket และ gRPC มุ่งเป้าไปที่เวิร์กโหลดที่ไวต่อความหน่วง เช่น การอนุมาน LLM สำหรับเอเจนต์แบบโต้ตอบ Modal ระบุว่าลดความหน่วง p50 จาก 39ms เหลือ 6ms โดยการย้ายการค้นหาควบคุมเพลนและการเข้าคิวออกจากเส้นทางคำขอ ดังนั้นไคลเอนต์จะได้รับ 503 เมื่อไม่มีรีพลิกาพร้อมใช้งาน และต้องจัดการ load shedding ในแอปพลิเคชัน เลเยอร์การกำหนดเส้นทางทำงานบน AWS EKS โดยมี Envoy ที่เอดจ์ และพร็อกซี Rust ภายในของ Modal ชื่อ fprs ซึ่งสร้างบน pingora ของ Cloudflare ทำหน้าที่จัดการการเชื่อมโยงโดเมนและการโหลดบาลานซ์ โดยอ่านการกำหนดค่าจาก Spanner และแคชไว้ในหน่วยความจำ
Vapi เผยแพร่คำตอบสำหรับเจ็ดคำถามที่ถูกถามบ่อยที่สุดจากเว็บบินาร์ร่วมกับ Spring Venture Group ซึ่ง Homer Kay อธิบายว่า SVG ใช้ voice agent ของ Vapi ในการคัดกรองลูกค้าเป้าหมาย Medicare ก่อนโอนสายให้ตัวแทนที่มีใบอนุญาต คำตอบครอบคลุมถึงการปฏิบัติตามข้อกำหนดในการโทรออก การผสานรวมแบบ API-first การสลับเปลี่ยนคอมโพเนนต์ STT, LLM และ TTS ได้อย่างอิสระ การส่งต่อให้มนุษย์ และการกำหนดค่าที่สอดคล้องกับ HIPAA พร้อม Zero Data Retention
Modal เปิดตัว Modal Auto Endpoints ซึ่งนำความสามารถในการขยายโครงสร้างพื้นฐานของ Modal มาสู่ประสิทธิภาพการประมวลผลระดับสูงสุดได้ในคลิกเดียว พร้อมยังคงควบคุมโค้ดได้ Modal กล่าวว่าการลดเวลาแฝงหลักมาจาก speculative decoding ด้วยโมเดล speculator DFlash แบบกำหนดเอง ซึ่งลดเวลาแฝงแบบ end-to-end ประมาณ 100ms ในกรณีศึกษา Decagon Voice หรือประมาณ 40% ของเวลาแฝงในการถอดรหัสฝั่งเซิร์ฟเวอร์ ทำให้เร็วกว่าทางเลือกเชิงพาณิชย์ที่เร็วที่สุดกว่า 60ms Modal ยังเปิดตัวโมเดล speculator DFlash แบบโอเพนซอร์สกับ Z Lab และ SGLang รวมถึงหนึ่งโมเดลสำหรับ Qwen 3.5 397B-A17B ที่ปรับปรุงเหนือ MTP มากกว่า 50%
Modal เปิดตัว Auto Endpoints ซึ่งเป็นบริการเซลฟ์เซอร์วิสที่ปรับใช้การอนุมาน LLM ระดับโปรดักชันเป็นเอนด์พอยต์ที่เข้ากันได้กับ OpenAI API โดยมี Modal App เป็นแบ็กเอนด์ที่ผู้ใช้มองเห็นและควบคุมได้ แต่ละโมเดลที่รองรับมาพร้อมกับการปรับใช้เริ่มต้นที่ปรับแต่งจาก benchmarking ของ Modal เอง โดยใช้เอนจินเช่น SGLang และ DFlash speculative decoding drafter จาก Z Lab และผู้ใช้สามารถตรวจสอบการเลือก GPU, แฟล็กเอนจิน และเมตริกการอนุมานเช่น TTFT, ITL และ speculative decoding acceptance length นอกจากนี้ Modal ยังเปิดตัว Modal Servers จากเบต้าสำหรับการกำหนดเส้นทางแบบภูมิภาคด้วยโอเวอร์เฮด 5ms และระบุว่าสร้างการปรับใช้เอนด์พอยต์ด้วยระบบเอเจนติกภายในที่ยังคงมีวิศวกรมนุษย์ตรวจสอบ
ทำไมเรื่องนี้สำคัญ: Auto Endpoints ของ Modal เปิดเผยสแตกการเสิร์ฟ เมตริกเอนจิน และสูตร benchmarking ที่ผู้ให้บริการการอนุมานแบบจัดการมักปิดไว้ ทำให้ทีมต่างๆ มีเส้นทางเซลฟ์เซอร์วิสสู่การเป็นเจ้าของการอนุมานโมเดลเปิด
Modal ให้เหตุผลว่าการจัดตารางคอนเทนเนอร์และเวลา boot ซึ่ง benchmark แซนด์บ็อกซ์ส่วนใหญ่วัดเป็น time to interactive เป็นส่วนที่เล็กที่สุดของสิ่งที่ผู้ใช้ต้องรอจริง ๆ; การตั้งค่าระดับแอปพลิเคชันหลังคอนเทนเนอร์เริ่มทำงานมักใช้เวลาหลายวินาที Modal กำลังเปิดให้ Readiness Probes ใช้งานทั่วไปเพื่อส่งสัญญาณว่าแซนด์บ็อกซ์เริ่มต้นเสร็จแล้ว และแนะนำ warm sandbox pools ที่สร้างบน modal.Queue ร่วมกับ Directory Snapshots เพื่อย้ายการตั้งค่าออกจาก critical path ของผู้ใช้
Modal ปล่อยชุดโมเดล draft DFlash สำหรับซีรีส์ Qwen บน Hugging Face รวมถึง Qwen 3.6 35B-A3B-DFlash และ Qwen 3.5 หลายขนาดตั้งแต่ 4B ถึง 122B-A10B พร้อม DFlash speculator สำหรับ Qwen 3.5 397B-A17B ที่สร้างด้วย SGLang บริษัทระบุว่า drafter ใหม่เพิ่มความเร็ว 5-20% เหนือ baseline DFlash ที่มีอยู่ และสามารถรัน Qwen 3.5 122B-A10B ได้เกิน 1000 tok/s ที่ concurrency 1 บนโหนด B200 เทียบกับ 250 tok/s เมื่อไม่ใช้ speculation โพสต์โต้ว่า speculative decoding ให้ผลตอบแทน 2x-3x ในจุดที่การปรับ kernel ให้เพียงไม่กี่เปอร์เซ็นต์ และนำเสนอ roofline model สำหรับประเมินความเร็วที่ได้จาก acceptance length
ทำไมเรื่องนี้สำคัญ: Modal อธิบายเหตุผลที่เดิมพันกับ speculative decoding และปล่อยโมเดล draft DFlash สำหรับซีรีส์ Qwen พร้อมความเร็วที่วัดได้และ roofline model สำหรับประเมินผลตอบแทน