Modal ได้ทำโปรไฟล์ตัวจัดตารางของ SGLang บนงานมัลติโหมด และแทนที่การจัดการ CUDA IPC handle ซ้ำๆ ด้วยแคช Python dict อย่างง่าย ทำให้ปริมาณงานเพิ่มขึ้น 16.2% และลดค่าเฉลี่ย TTFT ลง 13.2% และ TPOT 17.2% บน Qwen2.5-VL-3B-Instruct บน H100 การแก้ไขนี้ถูกรวมใน SGLang v0.5.10 แล้ว
Vapi Blog สัมภาษณ์ Iz Shalom จาก Cartesia เกี่ยวกับการเลือกระหว่าง integrated stack และ open modular stack สำหรับ Voice AI โดย integrated stack เหมาะกับ use case ที่แคบและการทำ proof of concept อย่างรวดเร็ว ส่วน open stack เหมาะกับหลาย use case การรองรับหลายภาษา และการสลับเปลี่ยนคอมโพเนนต์ บทความนี้กระตุ้นให้ทีมวัด P99 latency ในสภาพแวดล้อมของตนเองและสร้าง evaluation ที่รัดกุมก่อนขึ้น production
AE Studio อธิบายรายละเอียดว่าพวกเขาฝึก LLM ให้พิสูจน์ทฤษฎีบททางคณิตศาสตร์ด้วยการเรียนรู้แบบเสริมกำลังบน Modal ได้อย่างไร โดยเปรียบเทียบ Evolution Strategies กับ GRPO ขณะที่คงลูปการฝึกให้คงที่ การตั้งค่านี้รันการอนุมาน vLLM บน GPU การตรวจสอบด้วยคอมไพเลอร์ Lean ในแซนด์บ็อกซ์ CPU แบบแยก และออร์เคสเตรเตอร์น้ำหนักเบา โดยใช้อิมเมจแยกตามฟังก์ชัน การกระจายงานด้วย .map() และ Volumes สำหรับน้ำหนักฐาน
OpenAI เผยแพร่รายการตรวจสอบการติดตั้งใช้งาน API ที่แนะนำนักพัฒนาในการย้ายเวิร์กโหลดไปยัง Responses API และตระกูลโมเดล GPT-6 ซึ่งรวมถึง gpt-6-astra, gpt-6.1-sol, gpt-6 Sol และ gpt-6 Luna คู่มือครอบคลุมระดับ reasoning.effort ตั้งแต่ low ถึง max, text.verbosity, tool_search พร้อมการโหลดเครื่องมือแบบเลื่อนออกไป, Programmatic Tool Calling, Multi-agent, compaction, prompt caching และโหมด WebSocket ซึ่ง OpenAI ระบุว่าแสดงให้เห็นการทำงานแบบ end-to-end เร็วขึ้นถึงประมาณ 40% สำหรับเวิร์กโฟลว์ที่มีการเรียกใช้เครื่องมือ 20 ครั้งขึ้นไป นอกจากนี้ยังมีรายละเอียดขั้นตอนด้านความน่าเชื่อถือและความปลอดภัย เช่น การจัดการข้อผิดพลาด 429 และ 503, background=True สำหรับงานที่ใช้เวลานาน, safety_identifier และการตรวจสอบ misalignment
ทำไมเรื่องนี้สำคัญ: รายการตรวจสอบการติดตั้งใช้งานอย่างเป็นทางการของ OpenAI รวบรวมการเลือกโมเดล, reasoning effort, tool search, compaction และโหมด WebSocket ไว้ในคู่มือการย้ายระบบเดียวสำหรับเวิร์กโหลด GPT-6
Modal เผยแพร่บทแนะนำการสร้างฮาร์เนสเอเจนต์เขียนโค้ดแบบกำหนดเองบน OpenAI Agents SDK ซึ่ง OpenAI เปิดตัววันนี้ โดยใช้ Modal Sandboxes เพื่อมอบสภาพแวดล้อม Linux แบบแยกส่วนและ GPU ให้กับเอเจนต์ คู่มือเริ่มจากเอเจนต์ขั้นต่ำที่ใช้ exec จากนั้นเพิ่มเซสชันสำหรับหน่วยความจำ ออร์เคสเตรเตอร์พร้อมพูลซับเอเจนต์สำหรับงานอะซิงโครนัสแบบขนาน โควตา GPU สแนปช็อตไฟล์ระบบเพื่อลดความซ้ำซ้อนในการตั้งค่า และระบบย่อยทักษะ ปิดท้ายด้วยฮาร์เนสที่รัน Parameter Golf challenge ของ OpenAI ข้ามซับเอเจนต์ GPU แบบขนาน Modal อ้างถึงกองเอเจนต์เขียนโค้ดเบื้องหลังของ Ramp บน Modal ซึ่งระบุว่าตอนนี้สร้าง PR มากกว่าครึ่งหนึ่งของบริษัท
วิศวกร Forward-Deployed ของ Vapi กล่าวว่าช่องว่างระหว่างเดโมกับการใช้งานจริงคือจุดที่โครงการ Voice AI ระดับองค์กรส่วนใหญ่หยุดชะงัก ต้องมีการทดสอบอย่างละเอียด การกำหนด guardrails และการออกแบบที่อิงเจตนาแทนการจับคู่วลีแบบตรงตัว ทีมงานเตือนถึง "personality drift" ที่เอเจนต์รับสไตล์การพูดของผู้โทร และระบุว่า LLM ไม่สามารถกำหนดผลลัพธ์ได้แน่นอน ดังนั้นการปรับใช้จึงต้องกำหนดระดับความคลาดเคลื่อนที่ยอมรับได้และวนซ้ำอย่างต่อเนื่อง พวกเขาแนะนำให้เริ่มจากการปรับต้นทุนให้เหมาะสมแต่กำหนดเป้าหมายไปที่การสร้างรายได้ และวัดเกณฑ์การโต้ตอบที่ดีว่าต้องใช้เวลาต่ำกว่าหนึ่งนาที
Doppel ย้ายเวิร์กโฟลว์ ML ส่วนใหญ่ไปยัง Modal ขจัดความฝืดของโครงสร้างพื้นฐานที่ทำให้การทดลองฝึกโมเดลและการติดตั้งใช้งาน inference ช้าลง การทดลองแบบขนานผ่าน map() แทนการรันแบบลำดับ ขณะที่การแคชเลเยอร์อิมเมจและ persistent volumes ลดเวลาบิลด์ได้ถึง 10 เท่า โดยการตั้งค่าที่ซับซ้อนสามารถบิลด์แบบวอร์มได้ภายในไม่ถึงหนึ่งนาที
OpenAI อัปเดตคู่มือ prompting ของ Sora 2 ให้ครอบคลุมความสามารถใหม่ของ API ได้แก่ character references ที่ใช้ซ้ำได้สำหรับวัตถุและสัตว์, การส่งออกที่ 1920×1080 และ 1080×1920, ความยาวคลิปสูงสุดเพิ่มจาก 12 วินาทีเป็น 20 วินาที, การต่อวิดีโอที่ใช้คลิปต้นฉบับทั้งหมดเป็นบริบท และ Batch API สำหรับงานวิดีโอแบบอะซิงโครนัส คู่มือยังอธิบายโครงสร้าง prompt สำหรับการจัดเฟรมภาพ การเคลื่อนกล้อง แสง และบทสนทนา และระบุว่าความละเอียด ระยะเวลา และ character IDs ต้องตั้งค่าเป็นพารามิเตอร์ของ API ไม่ใช่บรรยายเป็นข้อความ รองรับการต่อได้สูงสุด 20 วินาที และวิดีโอหนึ่งสามารถต่อได้สูงสุด 6 ครั้ง รวมทั้งสิ้น 120 วินาที
ทำไมเรื่องนี้สำคัญ: คู่มือ prompting ของ Sora 2 ที่อัปเดตโดย OpenAI อธิบายความสามารถใหม่ของ API เช่น character references, คลิป 20 วินาที และการต่อวิดีโอ พร้อมเทมเพลต prompt ที่ใช้ซ้ำได้สำหรับควบคุมช็อต
OpenAI เปิดตัวคู่มือการเขียนพรอมต์ Codex สำหรับนักพัฒนาที่เรียกใช้โมเดล gpt-5.3-codex ซึ่งปรับแต่งสำหรับ Codex โดยตรงผ่าน API แนะนำให้ใช้ความพยายามในการคิดระดับปานกลางสำหรับการเขียนโค้ดแบบโต้ตอบ และระดับสูงหรือ xhigh สำหรับงานที่ยากที่สุด คู่มือครอบคลุมการย้ายฮาร์เนสที่มีอยู่ไปยัง codex-cli โอเพนซอร์ส รวมถึงพรอมต์มาตรฐาน Codex-Max เครื่องมือ apply_patch, shell_command และ update_plan และการบีบอัดข้อมูลแบบ first-class ผ่าน /compact ใน Responses API สำหรับเซสชันที่ใช้เวลาหลายชั่วโมง นอกจากนี้ยังอธิบายฟิลด์ phase ใหม่ ซึ่งรองรับเฉพาะบน gpt-5.3-codex โดยทำเครื่องหมายรายการของผู้ช่วยเป็น commentary หรือ final_answer และต้องเก็บรักษาไว้ในประวัติเพื่อหลีกเลี่ยงประสิทธิภาพที่ลดลง
ทำไมเรื่องนี้สำคัญ: คู่มืออย่างเป็นทางการของ OpenAI อธิบายรายละเอียดวิธีการปรับพรอมต์ เครื่องมือ และการบีบอัดข้อมูลสำหรับ gpt-5.3-codex มอบเส้นทางการย้ายที่ชัดเจนให้ทีมต่างๆ สำหรับเอเจนต์เขียนโค้ดของตนเอง
OpenClaw agent สามารถโทรออกและรับสายได้แล้วผ่าน skills ที่รองรับ AgentSkills ของ Vapi ซึ่งติดตั้งได้ในเวลาประมาณห้านาทีผ่าน npx skills CLI หรือสั่ง agent โดยตรง ไปป์ไลน์ของ Vapi ตั้งเป้าการตอบสนองด้วยเสียงต่ำกว่า 500ms และรองรับการเรียกใช้เครื่องมือระหว่างการโทร โดยมีแปด skills ครอบคลุม assistants, calls, phone numbers, tools, squads, webhooks และ workflows
Ramp สร้าง Ramp Inspect เอเจนต์เขียนโค้ดเบื้องหลังภายในที่ทำงานบน Modal Sandboxes และตอนนี้มันเริ่มต้น pull request ที่ถูก merge แล้วประมาณครึ่งหนึ่งในรีโป frontend และ backend ของ Ramp แต่ละเซสชันบูตสภาพแวดล้อม full-stack ที่มี Postgres, Redis, Temporal และ RabbitMQ ภายในไม่กี่วินาที เพราะ cron job ของ Modal โคลนรีโปและบันทึกสแนปช็อตของระบบไฟล์ทุก 30 นาที Modal Functions, Dicts และ Queues จัดการการสร้างสแนปช็อต ล็อกเซสชัน และการกำหนดเส้นทางพรอมป์ต์ ทำให้ Inspect รองรับเซสชันแบบหลายคนและเซสชันที่ทำงานพร้อมกันหลายร้อยเซสชันโดยไม่มีเซสชันใดส่งผลกระทบต่อกัน
Modal ได้ขยายพูล GPU worker แบบหลายคลาวด์เกิน 20,000 GPU พร้อมกัน และเปิดตัวอินสแตนซ์คลาวด์มากกว่าสี่ล้านตัวในช่วงสองปีที่ผ่านมา ตอนนี้จึงเปิดเผยระบบความน่าเชื่อถือเบื้องหลัง บทความครอบคลุมการทดสอบและเลือกประเภทอินสแตนซ์ การเตรียม machine image และการตรวจสอบการบูต การตรวจสุขภาพ GPU แบบพาสซีฟและแอคทีฟ และการสังเกตการณ์และการสนับสนุน โดยรายงานความแตกต่างระหว่างผู้ให้บริการไฮเปอร์สเกล เช่น Cloud A มีอัตราการบูตสำเร็จ 99.6% และ Cloud C มี H100 ทำงานที่อุณหภูมิเกิน 90ºC ในปี 2025
Reducto ย้ายเวิร์กโหลดการอนุมานสำหรับโมเดลประมวลผลเอกสารกว่า 30 โมเดลไปยัง Modal ทำให้เวลาแฝง P90 ลดลง 3 เท่า การสแนปช็อตหน่วยความจำ GPU ลดเวลาบูตเย็นลง 83% จากประมาณ 70 วินาทีเหลือประมาณ 12 วินาที ขณะที่พูลออโตสเกลแยกตามลูกค้าแต่ละรายช่วยแยกการรับมือกับปริมาณการใช้งานที่พุ่งสูง ในระหว่างการทดสอบโหลด Reducto ขยายไปป์ไลน์การนำเข้าข้อมูลไปยัง GPU กว่า 1,000 ตัวได้ในเวลาไม่ถึงหนึ่งชั่วโมง เพื่อสาธิตความสามารถ 100,000 หน้าต่อนาที
บล็อกของ Modal อธิบายว่า host overhead ซึ่งเป็นช่วงที่ GPU ว่างรอ CPU เตรียมงาน ปรากฏเป็นการใช้งาน GPU kernel ที่ต่ำในการอนุมาน AI เมื่อ host overhead อยู่ที่ 50% ต้นทุนการอนุมานด้วย GPU จะสูงเป็น 2 เท่าของที่ควรจะเป็น บทความระบุรายละเอียดการแก้ไขที่ใช้ในเอนจินการอนุมานแบบโอเพนซอร์สในสภาพแวดล้อมการผลิต รวมถึงการสร้างเทนเซอร์บนอุปกรณ์แทนการถ่ายโอน และการลดการเรียกใช้ CUDA kernel ที่ไม่จำเป็น
Decagon และ Modal ร่วมมือกันสร้าง Decagon Voice 2.0 โดยลด latency ลง 65% พร้อมปรับปรุงการจดจำเจตนาและคุณภาพการตอบสนอง Decagon fine-tune โมเดลโอเพนซอร์สขนาดกะทัดรัดด้วย SFT และ RL เพื่อเอาชนะโมเดล frontier ขนาดใหญ่กว่า ขณะที่ Modal ฝึกโมเดล draft EAGLE3 แบบกำหนดเองซึ่งมี accept length สูงขึ้น 38% และวิศวกรรม SGLang ใหม่ด้วยตัวจัดตาราง speculative decoding แบบ async เพิ่ม throughput ได้ถึง 12%
Ben Shababo จาก Modal อธิบายขั้นตอนการสร้างบอตเสียงสนทนาบน Modal ด้วยเฟรมเวิร์กโอเพนซอร์ส Pipecat และโมเดลน้ำหนักเปิด ทำได้ค่ามัธยฐานความหน่วงเสียงต่อเสียงประมาณหนึ่งวินาทีเมื่อไคลเอนต์และคอนเทนเนอร์อยู่ใกล้กันทางภูมิศาสตร์ไปป์ไลน์ใช้ NVIDIA parakeet-tdt-0.6b-v3 สำหรับ STT, Qwen3-4B-Instruct-2507 ให้บริการด้วย vLLM, KokoroTTS สำหรับเอาต์พุตเสียง และ ChromaDB กับ all-minilm-l6-v2 สำหรับ RAG บนเอกสารของ Modal โดย Modal Tunnels ข้ามระนาบอินพุตเพื่อเชื่อมต่อ WebSocket และ HTTP ความหน่วงต่ำไปยังบริการ STT, TTS และ vLLM ขณะที่ FunctionCall ที่ผูกกับแต่ละเซสชันสนทนาช่วยกู้คืนการสเกลอัตโนมัติ และการปักหมุดบริการไปยังภูมิภาคใกล้เคียงช่วยลดความหน่วงเครือข่าย
วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและถอดรหัสการทำงานของ attention kernel ที่ปรับแต่งสำหรับ Blackwell เนื่องจากยังไม่มีรายงานทางเทคนิคอย่างเป็นทางการ บทความได้ติดตาม tile หนึ่งผ่านไปป์ไลน์แบบอะซิงโครนัสที่แยกส่วนตาม warp ภายใน kernel และอธิบายเทคนิคทางคณิตศาสตร์สองอย่าง ได้แก่ ฟังก์ชัน exponential แบบซอฟต์แวร์ที่ใช้พหุนามกำลังสามซึ่งสามารถแทนการยกกำลังผ่าน SFU และกฎการปรับสเกลแบบ online softmax ที่ฉลาดกว่าซึ่ง Tri Dao กล่าวว่าลดการแก้ไขลงได้ถึง 10 เท่า มีรายงานว่า FA4 เร็วกว่า attention kernel แบบ closed-source cudnn ของ Nvidia ประมาณ 20% และในขณะที่เขียนยังไม่มีเวอร์ชัน backward
ทำไมเรื่องนี้สำคัญ: วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและอธิบายไปป์ไลน์ที่แยกส่วนตาม warp พร้อมเทคนิคทางคณิตศาสตร์สองอย่าง ซึ่งให้มุมมองที่นำไปประยุกต์ใช้ได้เกี่ยวกับทิศทางของงานออกแบบ CUDA kernel
Modal เผยรายละเอียดทางวิศวกรรมเบื้องหลัง Modal Notebooks โน้ตบุ๊ก Jupyter บนคลาวด์ที่บูต GPU และอิมเมจกำหนดเองได้ในไม่กี่วินาทีพร้อมการทำงานร่วมกันแบบเรียลไทม์ เคอร์เนลทำงานภายใน Modal Sandboxes โดยมีเดมอน modal-kernelshim แปลงข้อความ Jupyter ZeroMQ เป็น HTTP calls ที่ส่งผ่านทันเนลผ่าน control plane ของ Modal ระบบไฟล์คอนเทนเนอร์ Rust FUSE แบบ lazy-loading ดึงเนื้อหาไฟล์ตามต้องการผ่านแคชแบบหลายชั้น หลีกเลี่ยงความหน่วงจากการแตกอิมเมจซึ่งอาจใกล้ถึงหนึ่งนาทีสำหรับอิมเมจ Python/ML ขนาด 8 GB
Zencastr ย้ายงานถอดเสียงพอดแคสต์ไปยังแพลตฟอร์ม GPU ของ Modal ขยายกำลังถึง GPU 1,500 ตัวพร้อมกันภายในไม่กี่นาที เพื่อประมวลผลเสียงหลายร้อยปีภายในไม่กี่วัน การเปลี่ยนจากโหนด GPU Kubernetes ที่จัดการเองไปสู่โครงสร้างพื้นฐานแบบ scale-to-zero ของ Modal ช่วยลดต้นทุน GPU ที่ไม่ได้ใช้งาน และขจัดภาระการจัดการไดรเวอร์และ dependencies ทั้งหมด งาน ML หลักทั้งหมดทำงานบน Modal แล้ว รวมถึงการถอดเสียง การนับจำนวนผู้พูด การตรวจจับเสียงหัวเราะ และการให้คะแนนคุณภาพเสียง
AI code sandbox คือสภาพแวดล้อมแบบแยกส่วนที่รันโค้ดที่สร้างโดย LLM ในขณะใช้งาน เพื่อจำกัดขอบเขตผลกระทบจากข้อผิดพลาดหรือช่องโหว่ที่ถูกแทรกเข้ามา การใช้งานในปัจจุบันรันบน VM หรือคอนเทนเนอร์ โดยมักใช้รันไทม์ที่ปลอดภัยอย่าง gVisor เพื่อดักจับ syscall และปกป้องโฮสต์ บริษัทส่วนใหญ่เลือกใช้บริการ sandbox แบบ managed แทนการสร้างเองด้วย Kubernetes เนื่องจาก cold start และการขยายระบบรองรับหลายล้านเซสชันพร้อมกันมีต้นทุนสูง
Modal ได้พัฒนาบริการถอดเสียงแบบแบตช์บนแพลตฟอร์มของตนโดยใช้ parakeet-tdt-0.6b-v2 และ canary-1b-flash ของ NVIDIA โดยรายงานว่าประสิทธิภาพแบบ end-to-end เร็วกว่า 100 เท่าหรือถูกกว่า 100 เท่าเมื่อเทียบกับ API ASR เชิงพาณิชย์ยอดนิยม ขณะที่อัตราความผิดพลาดใกล้เคียงกันกับเสียงทดสอบ ESB ประมาณหนึ่งสัปดาห์ ทีมงานระบุว่าประสิทธิภาพที่ดีขึ้นนี้มาจากการสลับไฟล์ระหว่างชุดคำขอ การเรียงลำดับเสียงตามความยาวภายในชุด GPU การดาวน์โหลดแบบขนาน และการเลือกการกำหนดค่า GPU และ worker จากข้อมูลเชิงประจักษ์ บทความอธิบายสถาปัตยกรรมและขั้นตอนการปรับแต่งเพื่อให้ผู้อื่นสามารถสร้างบริการที่คล้ายกันได้
Modal ใช้ evals และการขยายคอมพิวต์ตอนอนุมานเพื่อปรับปรุงระบบ QArt code ของตน เพิ่มอัตราการสแกน QR ไปถึงเป้าหมายระดับบริการ 95% พร้อมทั้งปรับปรุงคุณภาพด้านความสวยงามและคืนรหัสได้ภายในเวลาไม่ถึง 20 วินาทีที่ p95 งานนี้เดินตามแนวทาง ML มาตรฐาน คือการเก็บคำตัดสินของมนุษย์ ปรับให้สอดคล้องกับคำตัดสินเหล่านั้น แล้วจึงขยายขนาด ซึ่งช่วยแก้ปัญหาช่องว่างแบบ "it worked on my prompt" ที่ทำให้ QR code ที่สร้างขึ้นจำนวนมากสแกนไม่ได้
Quora ใช้ Modal Sandboxes เพื่อรันโค้ดที่สร้างโดย LLM อย่างปลอดภัยใน Poe แพลตฟอร์มแชทบอต AI ของบริษัท โดยเปิดตัวฟีเจอร์นี้เร็วกว่าการสร้างระบบภายในองค์กรเองหลายเดือน ทีมงานทดสอบความสามารถในการสร้าง Sandbox จนถึง 1000 sandbox ต่อวินาที และรายงานว่าประหยัดเวลาการบำรุงรักษาโครงสร้างพื้นฐานอย่างต่อเนื่องได้เทียบเท่าวิศวกร 2 คน
Mistral และ Llama 3 มีแนวคิดที่แตกต่างกันสำหรับ Voice AI: โมเดล Mistral ตั้งแต่ 7B ถึง Mistral Small 3.1 (24B) เน้นประสิทธิภาพแบบ low-latency ขณะที่ Llama 3 ขยายจาก 8B ถึง 70B เพื่อการ reasoning ที่แข็งแกร่งขึ้นและการรองรับหลายภาษา Mistral Small 3.1 ใช้เวลา 0.29 วินาทีถึง token แรกที่ 150-166 tokens ต่อวินาที และ Mistral Small 24B เอาชนะ Llama 3.1 8B Instruct ใน ARC-C, GPQA และ MMLU ขณะที่ Llama 3.1 405B ทำคะแนนได้ 85.2% ใน MMLU และ 96.8% ใน GSM8K
Vapi ตอนนี้มีผู้ให้บริการ speech-to-text แปดราย — Gladia, AssemblyAI, Deepgram, Cartesia, Talkscriber, OpenAI, Speechmatics และ ElevenLabs — เป็นทางเลือกที่เปลี่ยนแทน Azure ได้ทันทีสำหรับ voice agents การสลับผู้ให้บริการใช้เพียงเปลี่ยนพารามิเตอร์ JSON หนึ่งค่า ทำให้นักพัฒนาสามารถเปรียบเทียบ latency ต้นทุน และการปฏิบัติตามข้อกำหนดได้ Gladia อ้างว่า latency แบบ end-to-end ต่ำกว่า 100 ms, AssemblyAI รวมสรุปและ PII redaction ไว้ในการเรียก API ครั้งเดียว และ Cartesia ทำงานบน on-premises ได้เต็มรูปแบบ
Gemini 2.5 Flash และ 2.5 Pro ของ Google แตกต่างกันหลักๆ ที่ความเร็วเทียบกับความลึกของการให้เหตุผล โดยทั้งคู่มีหน้าต่างบริบท 1M โทเคน และพร้อมใช้งานแบบเนทีฟใน Vapi สำหรับ voice agent โดย Flash ส่งโทเคนแรกใน 0.21–0.37 วินาที ที่ 163 โทเคนต่อวินาที และมีค่าใช้จ่าย $0.15/$0.60 ต่อล้านโทเคนอินพุต/เอาต์พุต ขณะที่ Pro มีค่าใช้จ่าย $1.25/$10 และเพิ่มโหมด Deep Think พร้อมแผนรองรับหน้าต่าง 2M โทเคน
วิศวกรของ Modal อธิบายการทำให้ FLUX.1-dev ของ Black Forest Labs ทำงานเร็วขึ้นประมาณสามเท่าในรูปแบบบริการ autoscaling โดยลดเวลาสร้างภาพขนาด 1024x1024 จากราว 6.75 วินาทีเหลือต่ำกว่าสามวินาที การปรับแต่งมาตรฐาน ได้แก่ Torch compiler พร้อม max-autotune, fused QKV attention และ channels-last memory layout ให้ความเร็วเพิ่มราว 1.5 เท่า ขณะที่ First Block Caching จาก repo ParaAttention ซึ่งอ้างอิงงานวิจัย TEACache เพิ่มความเร็วอีก 2 เท่าที่ threshold 0.12 ส่วน compile caches และ Modal Memory Snapshots ลดเวลา cold start ได้ 30 เท่า
คู่มือระบุห้าวิธีที่ตัวแทนอสังหาริมทรัพย์สามารถใช้ AI ได้ รวมถึง voice agent ที่สร้างบน Vapi ซึ่งรับสาย คัดกรองลีด และจองนัดชมทรัพย์ได้ตลอด 24 ชั่วโมง นอกจากนี้ยังครอบคลุมการทำคอนเทนต์อัตโนมัติด้วย ChatGPT และ Canva ตลอดจนเครื่องมือกำหนดราคา AI อย่าง HouseCanary และ CoreLogic ที่สร้างการประเมินมูลค่าพร้อมคะแนนความเชื่อมั่น
Nova-3 ของ Deepgram ลดอัตราความผิดพลาดระดับคำแบบสตรีมมิ่งจาก 8.4% ของ Nova-2 เหลือ 6.84% และทำ WER แบบแบตช์ได้ 5.26% ซึ่งเป็นการลดความผิดพลาดแบบสตรีมมิ่งลง 54.3% Nova-3 แทนที่โมเดลเฉพาะโดเมนแยกของ Nova-2 ด้วยเครือข่ายปรับตัวได้เพียงตัวเดียว และเพิ่มการจัดการบทสนทนาหลายภาษาแบบเรียลไทม์ รองรับคำกำหนดเองแบบเซลฟ์เซอร์วิสสูงสุด 100 คำโดยไม่ต้องเทรนใหม่ และการปิดบังข้อมูลสูงสุด 50 เอนทิตี ทั้งสองโมเดลทำงานแบบเนทีฟบน Vapi ด้วยเอนด์พอยต์เดียวกัน การสลับจึงเป็นเพียงการเปลี่ยนพารามิเตอร์ แม้ Nova-3 จะอยู่ในระดับราคาพรีเมียมของ Deepgram
ElevenLabs Flash v2.5 มีเวลาแฝงเสียงแรก 75ms เทียบกับ 200ms ของ OpenAI ขณะที่ OpenAI คิดค่าบริการ 15 ดอลลาร์ต่อล้านตัวอักษร เทียบกับแพ็กเกจรายเดือน 5–1,320 ดอลลาร์ของ ElevenLabs ElevenLabs มีเสียงกว่า 3,000 เสียงพร้อมการโคลนเสียงและความแม่นยำระดับคำ 82% เทียบกับ 11 เสียงคงที่ของ OpenAI ที่ 77% ผู้ให้บริการ TTS ทั้งสองรายถูกสร้างไว้ใน Vapi เพื่อการทดสอบโดยตรง
Vapi นำเสนอกรณีการใช้งาน AI เสียงในระบบโลจิสติกส์สามกรณี: ShipEX ใช้ระบบเสียงอัจฉริยะกับรถบรรทุก 350 คันเพื่อจัดการการแจ้งเตือนการบำรุงรักษาและรายงานอุบัติเหตุ ระบบหยิบสินค้าด้วยเสียงของ Idaho State Liquor Division เพิ่มอัตราการหยิบสินค้าได้ 35% และช่างเทคนิคซ่อมบำรุงบันทึกปัญหาด้วยเสียงเพื่อสร้างใบสั่งงาน CMMS โดยอัตโนมัติ บทความยังอธิบายรายละเอียดการเชื่อมต่อ API กับระบบ TMS, CRM และ WMS รวมถึงข้อควรพิจารณาในการติดตั้งใช้งาน
Vapi อธิบายวิธีเลือกจากสี่โมเดล Gemini สำหรับ voice agents: Gemini 1.0 Pro สำหรับโฟลว์ที่คาดเดาได้และเป็นมิตรต่อการปฏิบัติตามข้อกำหนดในราคา $0.50 อินพุตและ $2.00 เอาต์พุตต่อล้านโทเค็น, Gemini 1.5 Flash สำหรับงานปริมาณมากด้วยหน้าต่างบริบท 1M โทเค็น, Gemini 1.5 Pro สำหรับการให้เหตุผลเชิงลึกด้วยหน้าต่าง 2M โทเค็นและความแม่นยำในการดึงข้อมูลบริบทยาว 99.7% และ Gemini 2.0 Flash สำหรับการเรียกใช้เครื่องมือแบบเนทีฟ
DeepSeek V3 ประมวลผลโทเค็นต่อวินาทีมากกว่า R1 อยู่ 47% ในราคา 0.28 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต ขณะที่ R1 มีค่าใช้จ่าย 2.19 ดอลลาร์ต่อล้านโทเค็นและรันลูปการให้เหตุผลภายในสำหรับงานที่ยากขึ้น R1 ทำคะแนนได้ 97.3% บน MATH-500 และ 79.8% บน AIME 2024 เทียบกับ V3 ที่ได้ 90.2% และ 39.2% ทีมส่วนใหญ่กำหนดเส้นทาง 80-90% ของคำถามง่าย ๆ ไปยัง V3 และส่งงานให้เหตุผลที่ซับซ้อนไปยัง R1
SRTP ช่วยรักษาความปลอดภัยของสตรีมเสียงและวิดีโอ RTP โดยเพิ่มเพย์โหลดที่เข้ารหัส แท็กการรับรองความถูกต้อง และตัวระบุคีย์หลักลงในแต่ละแพ็กเก็ตสื่อ โดยอาศัยโหมด AES counter และแท็กการรับรองความถูกต้อง HMAC-SHA1 เป็นหลัก พร้อมหมายเลขลำดับที่ป้องกันการโจมตีแบบเล่นซ้ำ และทำงานร่วมกับ DTLS-SRTP หรือ SDES สำหรับการแลกเปลี่ยนคีย์ SRTP ถูกวางตำแหน่งเป็นทางเลือกในชั้นแอปพลิเคชันที่มีโอเวอร์เฮดต่ำสำหรับการสื่อสารแบบเรียลไทม์ โดยอ้างอิง GDPR, HIPAA และ CPRA เป็นปัจจัยขับเคลื่อนด้านการปฏิบัติตามข้อกำหนด
คู่มือการใช้งานไฟล์ .env และการตั้งค่าสภาพแวดล้อมในโปรเจกต์ Voice AI ครอบคลุมการตั้งค่า dotenv สำหรับ Node.js และ Python การเพิ่ม .env ลงใน .gitignore และคีย์เฉพาะของ Vapi เช่น VAPI_API_KEY และ VAPI_PROJECT_ID โดยอ้างอิงการค้นพบของ GitGuardian ที่พบ secrets รั่วไหลบน GitHub จำนวน 12.8 ล้านรายการในปี 2023 เพิ่มขึ้น 28% และแนะนำให้แยกไฟล์ env ตามสภาพแวดล้อม พร้อมเครื่องมือเช่น git-crypt, SOPS, AWS Secrets Manager และ HashiCorp Vault
Amazon Lex เหมาะกับทีมที่ใช้งาน AWS อยู่แล้วและต้องการการผสานรวมที่แน่นแฟ้นกับบริการของ Amazon ขณะที่ Dialogflow มีการรองรับภาษาที่กว้างกว่าและมีเส้นทางการเรียนรู้ที่ง่ายกว่าสำหรับผู้เริ่มต้น Lex ใช้เทคโนโลยีของ Alexa โดยมีราคาแบบจ่ายตามการใช้งาน รวมถึงระดับฟรี 10,000 คำขอข้อความและ 5,000 คำขอเสียงต่อเดือนในปีแรก และ Dialogflow รองรับมากกว่า 30 ภาษาพร้อมเอเจนต์สำเร็จรูปและการวิเคราะห์ความรู้สึก
คู่มือของ Vapi อธิบายวิธีกำหนดค่าตัวแปรสภาพแวดล้อมสำหรับการผสานรวม Voice AI ครอบคลุมตัวแปรชั่วคราวเทียบกับถาวร และระดับผู้ใช้เทียบกับระดับระบบ โดยมีรายละเอียดการตั้งค่าบน Windows, macOS และ Linux พร้อมตัวอย่างเฉพาะของ Vapi เช่น VAPI_API_KEY และ VAPI_MULTILINGUAL_SUPPORT รวมถึงแนวปฏิบัติที่ดีที่สุดด้านการตั้งชื่อและความปลอดภัย เช่น การไม่ฮาร์ดโค้ด API key
คู่มือจัดอันดับโมเดลถอดเสียงแบบโอเพนซอร์ส 10 รายการสำหรับการใช้งานทางคลินิก โดยประเมินจากความแม่นยำแบบเรียลไทม์ การจัดการศัพท์ทางการแพทย์ ความน่าเชื่อถือในการปฏิบัติงาน และความปลอดภัยของข้อมูล รายการครอบคลุม Vosk, DeepSpeech, SpeechBrain, OpenAI Whisper และ ESPnet ซึ่งจับคู่กับสภาพแวดล้อม เช่น คลินิกชนบทที่มีทรัพยากรจำกัด โรงพยาบาลหลายภาษา และศูนย์วิจัยที่ใช้ศัพท์เฉพาะทางหนัก ทั้งหมดสามารถเชื่อมต่อกับแพลตฟอร์ม AI เสียงแบบไม่ผูกกับโมเดลของ Vapi
Modal สร้าง "ตัวแก้ปัญหาทรัพยากร" ที่ใช้โปรแกรมเชิงเส้นและอัลกอริทึมซิมเพล็กซ์เพื่อตัดสินใจว่าจะเปิดหรือปิดอินสแตนซ์คลาวด์ใด ตอบสนองความต้องการ GPU ในราคาที่คาดการณ์ได้ ระบบยังจับการเก็งกำไรชั่วคราว เช่น GPU H200 หลายร้อยตัวในราคาต่ำกว่าอัตราตลาดของ H100 20% ประหยัดเงินได้หลายล้านดอลลาร์ต่อปี
sync. 正在利用 Modal 每天对超过 100 小时的视频进行唇形同步，将长视频拆分为场景，在 n 个 T4 GPU 容器上运行人脸检测和翻译，然后将每个场景传递给其在 A100 上专有的 LipSync GenAI 模型。该团队每天部署多达 95 次，并在从 Google Colab 原型和 AWS Lambda 迁移后，一年内向生产环境交付了 10 个主要模型变体。