ข้ามไปที่เนื้อหา
เฉพาะ จากต้นทาง#การติดตั้งใช้งาน / วิศวกรรม
29 กรกฎาคมวันพุธ
  1. Berkeley AI Research58

    จาก CUDA สู่ MLX: K-Search นำความเชี่ยวชาญด้านการปรับแต่งเคอร์เนลมาสู่ Apple Silicon

    IBM Research ได้ขยาย K-Search ซึ่งเป็นเฟรมเวิร์กการค้นหาเคอร์เนลเชิงวิวัฒนาการจาก UC Berkeley Sky Lab ด้วยแบ็กเอนด์ MLX และชั้นการแปล CUDA-to-MLX แบบมีโครงสร้างที่ปรับเคอร์เนล CUDA ที่มีอยู่ให้เป็นเคอร์เนลสำหรับ Apple Silicon บนเคอร์เนล attention ของ MLX วิธีนี้ทำความเร็วได้ 0.97 เท่าของความเร็วเคอร์เนล MLX Attention แบบเนทีฟของ Apple เพิ่มขึ้นจาก 0.26 เท่าเมื่อไม่มีบริบทการแปล และเคอร์เนล Mamba SSM ที่ผ่านวิวัฒนาการทำความเร็ว prefill ได้สูงสุดถึง 20 เท่าเมื่อเทียบกับการใช้งาน mlx-lm ของชุมชนบน M1 Max ผู้เขียนระบุว่าผลที่ได้ส่วนใหญ่มาจากคุณภาพของบริบทและข้อจำกัดที่ให้แก่ LLM มากกว่าความสามารถในการเขียนโค้ด Metal และกล่าวว่าวิธีนี้ไม่ได้จำเพาะเจาะจงกับ MLX

27 กรกฎาคมวันจันทร์
  1. Modal Blog75

    Kimi K3 ของ Moonshot เปิดให้ใช้งานบน Modal แล้ว พร้อมรองรับ vLLM ตั้งแต่วันแรก

    Modal เปิดให้ Kimi K3 ของ Moonshot ใช้งานได้บนแพลตฟอร์มของตนในวันเปิดตัว โดยเสนอโมเดลมัลติโหมดัลขนาด 2.8 ล้านล้านพารามิเตอร์ที่มีหน้าต่างบริบท 1M โทเคน ผ่าน Shared API ที่คิดราคาตามโทเคนและ Auto Endpoints แบบเฉพาะ Modal ระบุว่า DFlash speculator แบบกำหนดเองที่ปรับให้เข้ากับสถาปัตยกรรมของ K3 ช่วยเพิ่มความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที และปริมาณงานจาก 800k เป็น 1.5 ล้าน TPM ต่อ GPU ในงานเอเจนติก โมเดลนี้ใช้การออกแบบ mixture-of-experts โดยมี 16 จาก 896 experts ทำงานต่อโทเคน และ Moonshot ได้ร่วมพัฒนา prefix-caching รูปแบบใหม่ให้กับ vLLM ก่อนการเปิดตัว

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายรายละเอียดว่าตนนำ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์ของ Moonshot ขึ้นแพลตฟอร์มในวันเปิดตัวได้อย่างไร รวมถึง DFlash speculator แบบกำหนดเองที่ยกระดับความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที

24 กรกฎาคมวันศุกร์
  1. Vapi Blog22

    วิธีลดเวลารอของลูกค้าด้วย AI voice agent

    AI voice agent ช่วยลดเวลารอของลูกค้าได้สองวิธี คือ ลดงานออกจากคิวผ่านการให้บริการด้วยตนเอง การจัดเส้นทางอัจฉริยะ การช่วยเหลือเอเจนต์ และการคาดการณ์ความต้องการ และตอบรับทันทีโดยไม่ต้องรอสาย SQM Group พบว่าลูกค้าวางสายโดยเฉลี่ยที่ 2 นาที 36 วินาที ขณะที่ ContactBabel ระบุว่าอัตราการวางสายเฉลี่ยของสหราชอาณาจักรอยู่ที่ 8.4% ในปี 2024 Vapi กล่าวว่าสามารถตั้ง voice agent ตัวแรกได้จากแดชบอร์ดภายในไม่กี่นาที จากนั้นวัดผลด้วย ASA อัตราการวางสาย และการแก้ไขปัญหาในการโทรครั้งแรก

21 กรกฎาคมวันอังคาร
  1. Vapi Blog42

    Vapi เปิดตัว Model Intelligence พร้อมพรีเซ็ตโมเดลจากข้อมูลการใช้งานจริงและตัวชี้วัดประสิทธิภาพ

    Vapi เปิดตัว Model Intelligence ซึ่งเป็นชุดฟีเจอร์ที่ช่วยนักพัฒนาการเลือกชุดโมเดลสำหรับ voice agent โดยมี Model Preset 4 แบบ (Balanced, High Intelligence, Ultra Fast, Cost Saver) ที่รวม transcriber, LLM และ voice ไว้ด้วยกัน พร้อมตัวชี้วัดด้านต้นทุน ความหน่วง และคุณภาพของแต่ละโมเดล ซึ่งดึงมาจากการโทรผ่าน Vapi กว่า 1 พันล้านครั้ง

  2. Modal Blog58

    Modal และ Cognition เปิดตัว Devin Outposts พร้อมการผสานรวม sandbox ของ modal-devin

    Modal เป็นพันธมิตรด้านการเปิดตัวสำหรับ Devin Outposts ซึ่งเป็นฟีเจอร์ของ Cognition ที่ย้ายการทำงานของโค้ดของ Devin ไปยังสภาพแวดล้อมที่ลูกค้าควบคุม ขณะที่การประมวลผลของ Devin ยังคงอยู่ในคลาวด์ของ Cognition ไลบรารีและ CLI โอเพนซอร์ส modal-devin จะรันแต่ละเซสชันของ Outpost ใน Modal Sandbox ทำให้เข้าถึงเครื่องที่มี GPU รองรับ อิมเมจที่กำหนดเอง การสแนปช็อตเวิร์กสเปซ และการสเกลเป็นศูนย์ และพร้อมใช้งานในเวอร์ชันอัลฟาเริ่มตั้งแต่วันที่ 21 กรกฎาคม 2026 การตั้งค่าใช้ uvx modal-devin init ซึ่งสร้างฟังก์ชันออร์เคสเตรเตอร์และฟังก์ชันเซสชันเวิร์กเกอร์ที่ทีมสามารถปรับแต่งต่อไปได้

16 กรกฎาคมวันพฤหัสบดี
  1. Modal Blog60

    Modal สร้างแพลตฟอร์มแซนด์บ็อกซ์ใหม่เพื่อรันแซนด์บ็อกซ์พร้อมกัน 1 ล้านตัว สร้างเสร็จในไม่ถึงหนึ่งนาที

    Modal ได้สร้างแพลตฟอร์มแซนด์บ็อกซ์หลักใหม่ทั้งหมด และบนระบบใหม่นี้สามารถรันแซนด์บ็อกซ์พร้อมกัน 1 ล้านตัว โดยสร้างทั้งหมดเสร็จในไม่ถึงหนึ่งนาที การออกแบบใหม่นี้ตัดการประสานงานแบบศูนย์กลางและที่จัดเก็บข้อมูลใดๆ ออกจากเส้นทางการสร้างแซนด์บ็อกซ์: เซิร์ฟเวอร์จัดตารางที่ขยายแนวนอนจะเลือกเวิร์กเกอร์ด้วยอัลกอริทึมในหน่วยความจำและเรียกใช้งานโดยตรง ขณะที่เวิร์กเกอร์เผยแพร่สถานะแบบอะซิงโครนัสไปยัง Redis stream Modal ระบุว่าความหน่วงในการเริ่มแซนด์บ็อกซ์อยู่ที่ต่ำกว่าครึ่งวินาทีที่ค่ามัธยฐาน และระบบใหม่นี้พร้อมใช้งานในเวอร์ชัน Beta แล้วด้วยการเปลี่ยนโค้ดเพียงบรรทัดเดียวเพื่อเลือกใช้

    ทำไมเรื่องนี้สำคัญ: Modal สร้างระนาบควบคุมแซนด์บ็อกซ์ใหม่เพื่อตัดการประสานงานแบบศูนย์กลาง แสดงให้เห็นว่าการจัดตารางคอนเทนเนอร์สามารถขยายได้ไกลเพียงใดเมื่อความสอดคล้องระดับโลกออกจากเส้นทางวิกฤต

15 กรกฎาคมวันพุธ
  1. Modal Blog60

    โมเดลมัลติโมดัล Inkling ของ Thinking Machines พร้อมใช้งานแล้วบน Modal

    Thinking Machines เปิดตัว Inkling โมเดลมัลติโมดัลอเนกประสงค์ที่รับอินพุตข้อความ รูปภาพ และเสียง แล้วส่งออกเป็นข้อความ โดย Modal ให้บริการตั้งแต่วันแรกในรูปแบบ Managed Endpoint ที่คิดราคาตามโทเคน Inkling เป็นทรานส์ฟอร์เมอร์แบบ mixture-of-experts ที่มีพารามิเตอร์รวม 975B เปิดใช้งาน 41B หน้าต่างบริบท 1M โทเคน พร้อมเสียงและภาพในตัว ใช้เลเยอร์ attention แบบ sliding-window ห้าเลเยอร์ต่อเลเยอร์ full-attention หนึ่งเลเยอร์ บนงานเอเจนต์กับ B200 8 ตัว speculator DFlash แบบกำหนดเองของ Modal ทำความเร็วได้ถึง 250 โทเคนต่อวินาทีต่อผู้ใช้ที่ปริมาณงาน 2.5M TPM ต่อ GPU ซึ่งโต้ตอบได้เร็วขึ้น 67% เมื่อเทียบกับเส้นทาง speculative ที่มีมาในโมเดลที่ปริมาณงานเท่ากัน

    ทำไมเรื่องนี้สำคัญ: endpoint วันแรกของ Modal สำหรับ Inkling ขนาด 975B พารามิเตอร์ของ Thinking Machines แสดงให้เห็นว่า speculator DFlash แบบกำหนดเองช่วยยกระดับการโต้ตอบได้ 67% เหนือเส้นทาง speculative ที่มีมาในโมเดล

9 กรกฎาคมวันพฤหัสบดี
  1. Modal Blog22

    Modal คือคอมพิวเตอร์: การนิยามแพลตฟอร์มคลาวด์ใหม่ในฐานะเครื่องจักร

    Modal อ้างว่าควรเข้าใจมันในฐานะคอมพิวเตอร์มากกว่า "Uber สำหรับการประมวลผล" neocloud หรือผู้ให้บริการ inference เนื่องจากมันขาย processor-seconds และ byte-seconds แทนโทเค็น โพสต์นี้จับคู่องค์ประกอบของเครื่องจักรทั่วไป ได้แก่ ALU, ลำดับชั้นหน่วยความจำ, I/O, NIC และระบบปฏิบัติการ เข้ากับคอนเทนเนอร์, object storage, Input/Output Plane, Routing Plane และ Tunnels ของ Modal นอกจากนี้ยังเชื่อมโยง Modal Functions, Sandboxes และ Servers เข้ากับเครื่องมือไร้สถานะ, กระบวนการ Linux และ HTTP listeners

7 กรกฎาคมวันอังคาร
  1. Berkeley AI Research36

    ปัญญาประดิษฐ์ไร้ค่าใช้จ่าย แล้วต่อไปคืออะไร? ระบบข้อมูลเพื่อเอเจนต์ ของเอเจนต์ และโดยเอเจนต์

    Aditya G. Parameswaran จาก UC Berkeley และผู้ร่วมงานโต้แย้งว่า เมื่อต้นทุนการอนุมานลดลงจากประมาณ $30 ต่อล้านโทเค็นในต้นปี 2023 เหลือต่ำกว่า $1 ในปัจจุบัน ระบบข้อมูลจำเป็นต้องได้รับการออกแบบใหม่โดยคำนึงถึงความท้าทายสามประการ ได้แก่ ระบบเพื่อเอเจนต์ ระบบของเอเจนต์ และระบบโดยเอเจนต์ พวกเขาตั้งข้อสังเกตว่าในเบนช์มาร์ก text-to-SQL ที่มีหลายเอเจนต์ต่อหนึ่งงาน มีเพียง 10-20% ของแผนย่อยที่แตกต่างกัน ดังนั้น 80-90% ของคำสั่งย่อยจึงทำงานซ้ำซ้อน และเสนอแนวทาง reuse, approximation และระบบข้อมูลเชิงรุก

6 กรกฎาคมวันจันทร์
  1. Modal Blog38

    วิธีกำหนดราคา GPU แบบเซิร์ฟเวอร์เลส: โมเดลต้นทุนแบบอินเทอร์แอกทีฟของ Modal

    Modal เผยแพร่เครื่องมือแบบอินเทอร์แอกทีฟสำหรับประเมินต้นทุน GPU แบบเซิร์ฟเวอร์เลสเทียบกับการจอง โดยค่าเริ่มต้นใช้ราคาปัจจุบันของ GPU B200 แบบเซิร์ฟเวอร์เลสบน Modal และแบบจองผ่านผู้ให้บริการคลาวด์รายใหญ่เป็นเวลา 3 ปี โมเดลนี้แสดงให้เห็นว่าเมื่ออัตราส่วนพีคต่อค่าเฉลี่ยของแอปพลิเคชันสูงกว่าอัตราส่วนลดของการจอง GPU แบบเซิร์ฟเวอร์เลสจะมีต้นทุนโดยรวมต่ำกว่า และ Modal อ้างถึงส่วนลดที่พบจริงอยู่ที่ 2-5 เท่า เทียบกับอัตราส่วนพีคต่อค่าเฉลี่ยที่ 5-10 เท่า

1 กรกฎาคมวันพุธ
  1. Modal Blog58

    Modal Research และ MRP ของ HeavyBall นำการทำนายหลายโทเคนมาสู่ diffusion LM

    Modal Research และ HeavyBall Research จาก NYU Shanghai แนะนำ Multi-token Residual Prediction (MRP) ซึ่งเป็นโมดูล 3 ชั้นที่ติดตั้งบน backbone ของ diffusion LM ที่ถูก freeze ไว้ โดยทำนาย logit residual ระหว่างขั้นแทนการทำนายการแจกแจงของขั้นถัดไปแบบเต็ม บน SDAR-4B GSM8K นั้น MRP รักษาความแม่นยำไว้ที่ 70.9% ที่ K=3 เทียบกับ 5.9% ของ naive MTP distillation และใน SGLang ทำ throughput ได้สูงสุดถึง 1.56 เท่าโดยไม่สูญเสียความแม่นยำในโหมด speculative หรือกู้คืนความแม่นยำได้ถึง +16 จุดภายใต้ aggressive low-threshold dynamic decoding เปิดตัว paper, code, SGLang implementation และโมเดล SDAR-MRP บน Hugging Face แล้ว

30 มิถุนายนวันอังคาร
  1. Modal Blog66

    Anthropic เปิดตัว Claude Science โดยใช้ Modal เป็นแบ็กเอนด์การประมวลผลที่ขยายได้

    Anthropic เปิดตัว Claude Science เมื่อวันที่ 30 มิถุนายน ซึ่งเป็นเวิร์กเบนช์ AI ที่นักวิจัยด้านวิทยาศาสตร์ชีวภาพสามารถรันเวิร์กโหลดการคำนวณได้โดยตรงภายในบทสนทนากับ Claude โดย Modal ทำหน้าที่เป็นแบ็กเอนด์การประมวลผล: เวิร์กโหลดที่ต้องใช้ GPU หรือ CPU จำนวนมากพร้อมกันจะถูกส่งไปยังแซนด์บ็อกซ์ของ Modal โดยอัตโนมัติจากเวิร์กสเปซที่เชื่อมต่อของนักวิจัย ขณะที่การประมวลผลเริ่มต้นยังคงอยู่ในแซนด์บ็อกซ์บนเครื่องโลคอล Modal กล่าวถึงการคัดกรองเสมือนแบบ fan-out ทั่วหลายร้อยคอนเทนเนอร์ การเข้าถึง GPU ต่อขั้นตอนสำหรับโมเดลอย่าง ESMFold2 พื้นที่จัดเก็บ Modal Volumes ที่ใช้ร่วมกัน และ Modal Images ที่ทำซ้ำได้ และมอบเงินสนับสนุนการประมวลผลมูลค่าสูงถึง $100,000 สำหรับ AI for Science Claude Science Cohort ของ Anthropic ในอัตรา $500–$2,000 ต่อโครงการ โดยเปิดรับสมัครถึงวันที่ 15 กรกฎาคม 2026

    ทำไมเรื่องนี้สำคัญ: โพสต์ของ Modal อธิบายว่า Claude Science ส่งเวิร์กโหลด GPU และแบบขนานไปยังแซนด์บ็อกซ์ของ Modal อย่างไร พร้อมตัวอย่างวิทยาศาสตร์ชีวภาพที่เป็นรูปธรรมและเงินสนับสนุนการประมวลผลสำหรับห้องปฏิบัติการทางวิชาการ

25 มิถุนายนวันพฤหัสบดี
  1. Modal Blog55

    Modal เปิดตัว Servers แบบเซิร์ฟเวอร์เลสสำหรับทราฟฟิก HTTP, WebSocket และ gRPC ที่มีความหน่วงต่ำ

    Modal เปิดตัว Servers ซึ่งเป็นพูลรีพลิกาของเซิร์ฟเวอร์ HTTP ที่ปรับขนาดอัตโนมัติแบบแบ่งตามภูมิภาค สำหรับทราฟฟิก HTTP, WebSocket และ gRPC มุ่งเป้าไปที่เวิร์กโหลดที่ไวต่อความหน่วง เช่น การอนุมาน LLM สำหรับเอเจนต์แบบโต้ตอบ Modal ระบุว่าลดความหน่วง p50 จาก 39ms เหลือ 6ms โดยการย้ายการค้นหาควบคุมเพลนและการเข้าคิวออกจากเส้นทางคำขอ ดังนั้นไคลเอนต์จะได้รับ 503 เมื่อไม่มีรีพลิกาพร้อมใช้งาน และต้องจัดการ load shedding ในแอปพลิเคชัน เลเยอร์การกำหนดเส้นทางทำงานบน AWS EKS โดยมี Envoy ที่เอดจ์ และพร็อกซี Rust ภายในของ Modal ชื่อ fprs ซึ่งสร้างบน pingora ของ Cloudflare ทำหน้าที่จัดการการเชื่อมโยงโดเมนและการโหลดบาลานซ์ โดยอ่านการกำหนดค่าจาก Spanner และแคชไว้ในหน่วยความจำ

24 มิถุนายนวันพุธ
  1. Vapi Blog15

    Vapi ตอบคำถามยอดนิยมจากเว็บบินาร์เรื่องการคัดกรองลูกค้าเป้าหมายของ SVG

    Vapi เผยแพร่คำตอบสำหรับเจ็ดคำถามที่ถูกถามบ่อยที่สุดจากเว็บบินาร์ร่วมกับ Spring Venture Group ซึ่ง Homer Kay อธิบายว่า SVG ใช้ voice agent ของ Vapi ในการคัดกรองลูกค้าเป้าหมาย Medicare ก่อนโอนสายให้ตัวแทนที่มีใบอนุญาต คำตอบครอบคลุมถึงการปฏิบัติตามข้อกำหนดในการโทรออก การผสานรวมแบบ API-first การสลับเปลี่ยนคอมโพเนนต์ STT, LLM และ TTS ได้อย่างอิสระ การส่งต่อให้มนุษย์ และการกำหนดค่าที่สอดคล้องกับ HIPAA พร้อม Zero Data Retention

  2. Modal Blog58

    Modal เปิดตัว Auto Endpoints โดยอ้างถึง speculative decoding สำหรับเวลาแฝงในการประมวลผลระดับสูงสุด

    Modal เปิดตัว Modal Auto Endpoints ซึ่งนำความสามารถในการขยายโครงสร้างพื้นฐานของ Modal มาสู่ประสิทธิภาพการประมวลผลระดับสูงสุดได้ในคลิกเดียว พร้อมยังคงควบคุมโค้ดได้ Modal กล่าวว่าการลดเวลาแฝงหลักมาจาก speculative decoding ด้วยโมเดล speculator DFlash แบบกำหนดเอง ซึ่งลดเวลาแฝงแบบ end-to-end ประมาณ 100ms ในกรณีศึกษา Decagon Voice หรือประมาณ 40% ของเวลาแฝงในการถอดรหัสฝั่งเซิร์ฟเวอร์ ทำให้เร็วกว่าทางเลือกเชิงพาณิชย์ที่เร็วที่สุดกว่า 60ms Modal ยังเปิดตัวโมเดล speculator DFlash แบบโอเพนซอร์สกับ Z Lab และ SGLang รวมถึงหนึ่งโมเดลสำหรับ Qwen 3.5 397B-A17B ที่ปรับปรุงเหนือ MTP มากกว่า 50%

23 มิถุนายนวันอังคาร
  1. Modal Blog60

    Modal เปิดตัว Auto Endpoints สำหรับการอนุมาน LLM แบบเซลฟ์เซอร์วิสที่เข้ากันได้กับ OpenAI API

    Modal เปิดตัว Auto Endpoints ซึ่งเป็นบริการเซลฟ์เซอร์วิสที่ปรับใช้การอนุมาน LLM ระดับโปรดักชันเป็นเอนด์พอยต์ที่เข้ากันได้กับ OpenAI API โดยมี Modal App เป็นแบ็กเอนด์ที่ผู้ใช้มองเห็นและควบคุมได้ แต่ละโมเดลที่รองรับมาพร้อมกับการปรับใช้เริ่มต้นที่ปรับแต่งจาก benchmarking ของ Modal เอง โดยใช้เอนจินเช่น SGLang และ DFlash speculative decoding drafter จาก Z Lab และผู้ใช้สามารถตรวจสอบการเลือก GPU, แฟล็กเอนจิน และเมตริกการอนุมานเช่น TTFT, ITL และ speculative decoding acceptance length นอกจากนี้ Modal ยังเปิดตัว Modal Servers จากเบต้าสำหรับการกำหนดเส้นทางแบบภูมิภาคด้วยโอเวอร์เฮด 5ms และระบุว่าสร้างการปรับใช้เอนด์พอยต์ด้วยระบบเอเจนติกภายในที่ยังคงมีวิศวกรมนุษย์ตรวจสอบ

    ทำไมเรื่องนี้สำคัญ: Auto Endpoints ของ Modal เปิดเผยสแตกการเสิร์ฟ เมตริกเอนจิน และสูตร benchmarking ที่ผู้ให้บริการการอนุมานแบบจัดการมักปิดไว้ ทำให้ทีมต่างๆ มีเส้นทางเซลฟ์เซอร์วิสสู่การเป็นเจ้าของการอนุมานโมเดลเปิด

22 มิถุนายนวันจันทร์
  1. Modal Blog36

    Modal อธิบายว่าทำไมแซนด์บ็อกซ์ "started" ≠ "ready" และ warm pools ช่วยลด latency ที่ผู้ใช้รับรู้ตอนเริ่มต้นได้อย่างไร

    Modal ให้เหตุผลว่าการจัดตารางคอนเทนเนอร์และเวลา boot ซึ่ง benchmark แซนด์บ็อกซ์ส่วนใหญ่วัดเป็น time to interactive เป็นส่วนที่เล็กที่สุดของสิ่งที่ผู้ใช้ต้องรอจริง ๆ; การตั้งค่าระดับแอปพลิเคชันหลังคอนเทนเนอร์เริ่มทำงานมักใช้เวลาหลายวินาที Modal กำลังเปิดให้ Readiness Probes ใช้งานทั่วไปเพื่อส่งสัญญาณว่าแซนด์บ็อกซ์เริ่มต้นเสร็จแล้ว และแนะนำ warm sandbox pools ที่สร้างบน modal.Queue ร่วมกับ Directory Snapshots เพื่อย้ายการตั้งค่าออกจาก critical path ของผู้ใช้

19 มิถุนายนวันศุกร์
  1. Modal Blog60

    Modal ปล่อย DFlash speculators สำหรับ Qwen 3.5 และ 3.6 อ้างเพิ่มความเร็วได้อีก 5-20%

    Modal ปล่อยชุดโมเดล draft DFlash สำหรับซีรีส์ Qwen บน Hugging Face รวมถึง Qwen 3.6 35B-A3B-DFlash และ Qwen 3.5 หลายขนาดตั้งแต่ 4B ถึง 122B-A10B พร้อม DFlash speculator สำหรับ Qwen 3.5 397B-A17B ที่สร้างด้วย SGLang บริษัทระบุว่า drafter ใหม่เพิ่มความเร็ว 5-20% เหนือ baseline DFlash ที่มีอยู่ และสามารถรัน Qwen 3.5 122B-A10B ได้เกิน 1000 tok/s ที่ concurrency 1 บนโหนด B200 เทียบกับ 250 tok/s เมื่อไม่ใช้ speculation โพสต์โต้ว่า speculative decoding ให้ผลตอบแทน 2x-3x ในจุดที่การปรับ kernel ให้เพียงไม่กี่เปอร์เซ็นต์ และนำเสนอ roofline model สำหรับประเมินความเร็วที่ได้จาก acceptance length

    ทำไมเรื่องนี้สำคัญ: Modal อธิบายเหตุผลที่เดิมพันกับ speculative decoding และปล่อยโมเดล draft DFlash สำหรับซีรีส์ Qwen พร้อมความเร็วที่วัดได้และ roofline model สำหรับประเมินผลตอบแทน

17 มิถุนายนวันพุธ
  1. Vapi Blog40

    Vapi สร้าง Homepage Voice Agents 15 ตัวด้วยโค้ดได้อย่างไร

    Vapi สร้าง voice agents 15 ตัวบนหน้า homepage ของตน — 3 use cases ใน 5 ภาษา — โดยการสร้างจากไฟล์ ROUGH_DRAFT.md ไฟล์เดียว แทนการแก้ไขทีละตัวใน dashboard กรอบการทำงานสี่ระยะ (plan, draft, bootstrap, harden) สร้างโครง TypeScript project ด้วย OpenAI gpt-4.1 ที่ temperature 0.5, voice stacks จาก ElevenLabs และ Deepgram/Soniox และลูป upsert แบบ idempotent ที่เก็บ assistant IDs ไว้ใน .env.local repo เป็น public: clone, เพิ่ม VAPI_PRIVATE_KEY และรัน bun run bootstrap

15 มิถุนายนวันจันทร์
  1. Modal Blog34

    อัปเดตผลิตภัณฑ์ Modal: VM Sandboxes, Regional Routing, RBAC และอื่นๆ

    Modal ได้ปล่อยชุดอัปเดตแพลตฟอร์ม ซึ่งรวมถึง VM Sandboxes เวอร์ชัน alpha ที่รัน Linux kernel จริงเพื่อรองรับ Docker containers, eBPF, systemd และ cgroups ขณะนี้ Functions สามารถกำหนดเส้นทางผ่าน US West, EU West หรือ Asia Pacific South แทนภูมิภาคเริ่มต้น US East และ RBAC พร้อมใช้งานสำหรับทุกแพ็กเกจ Team และ Enterprise ขณะนี้ Sandbox readiness probes เป็น GA แล้ว และ Python SDK 1.5.0 กับ JS/Go SDK 0.8.0 กำหนดค่าเริ่มต้น snapshot TTL เป็น 30 วัน

11 มิถุนายนวันพฤหัสบดี
  1. Modal Blog34

    Modal ทำให้ FlashAttention-4 เร็วขึ้นสำหรับการอนุมาน LLM

    Modal ได้มีส่วนร่วมในการปรับแต่งเคอร์เนล FlashAttention-4 เพื่อเร่งความเร็วเวิร์กโหลดการอนุมาน LLM ที่เน้นการถอดรหัส ซึ่งแบนด์วิดท์หน่วยความจำเป็นคอขวด การเปลี่ยนแปลงรวมถึงการพอร์ตเทคนิคความขนานแบบ "split KV" ไปยัง FA4 และแทนที่การโหลด TMA cp.async.bulk ด้วย cp.async สำหรับการเข้าถึงหน่วยความจำที่ไม่สม่ำเสมอ PR อินพุต FP8 (ผสานเมื่อ 17 เมษายน 2026) ให้ปริมาณงานสูงสุดถึง 1.16 เท่าเมื่อเทียบกับพื้นฐาน bf16 และช่วยให้แคช KV เล็กลงได้

  2. Factory62

    Factory เปิดตัวการตรวจสอบความปลอดภัยอัตโนมัติใน Droid

    Factory กำลังเปิดตัวการตรวจสอบความปลอดภัยอัตโนมัติใน Droid ซึ่งจะทำการตรวจสอบความปลอดภัยตามหลัก STRIDE ควบคู่ไปกับการตรวจสอบโค้ดมาตรฐานในทุก PR ที่ไม่ใช่ฉบับร่าง และโพสต์สิ่งที่พบพร้อมระดับความรุนแรง ข้อมูลอ้างอิง CWE คำอธิบาย และข้อเสนอแนะในการแก้ไขเป็นความคิดเห็นแบบอินไลน์บน diff บริษัทกล่าวว่าการตรวจสอบความปลอดภัยของ Droid ได้ถูกนำไปใช้กับฐานโค้ดโปรดักชันและเปิดเผยสิ่งที่พบซึ่งผ่านกระบวนการเปิดเผยอย่างรับผิดชอบ รวมถึง CVE-2026-42876 ใน external-secrets และ workos/workos-node#1578 Droid สร้างแบบจำลองภัยคุกคามแบบเบาของพื้นผิวที่เปลี่ยนแปลง สแกนหาช่องโหว่ เช่น ประเด็น OWASP Top 10 และ OWASP LLM Top 10 จากนั้นตรวจสอบแต่ละสิ่งที่พบที่เป็นไปได้กับ diff เพื่อกรองผลบวกลวงก่อนโพสต์สรุปที่ขจัดความซ้ำซ้อนแล้วหนึ่งรายการต่อ PR

    ทำไมเรื่องนี้สำคัญ: Droid ของ Factory ตอนนี้ทำการตรวจสอบความปลอดภัยตามหลัก STRIDE ในทุก PR ที่ไม่ใช่ฉบับร่าง และโพสต์แสดง CVE จริงที่มันเปิดเผยในฐานโค้ดโปรดักชัน

1 มิถุนายนวันจันทร์
  1. Modal Blog46

    Modal: การเรียนรู้แบบเสริมกำลังสำหรับการฝึกหลังการฝึก LLM เป็นปัญหาโครงสร้างพื้นฐาน

    Modal ระบุว่าคอขวดในการฝึกหลังการฝึกด้วย RL ของ LLM ตอนนี้คือโครงสร้างพื้นฐาน ไม่ใช่อัลกอริทึม และได้เปิดตัวไลบรารีโอเพนซอร์สที่พัฒนาจากการรัน RL ในระดับสเกลใหญ่ โดยชี้จุดเจ็บปวดสามประการ ได้แก่ โค้ดเชื่อมต่อ การเข้าคิวของคลัสเตอร์ และการใช้ GPU ไม่เต็มประสิทธิภาพ พร้อมรายงานว่าการซิงค์น้ำหนักผ่าน RDMA ลดเวลาอัปเดต Qwen3 8B จาก 2.62 วินาที เหลือ 41 มิลลิวินาที

27 พฤษภาคมวันพุธ
  1. MiniMax Blog72

    MiniMax อัปเกรด Agent เป็น Mavis และเปิดตัว Agent Teams สำหรับงานที่ใช้เวลานาน

    MiniMax อัปเกรด MiniMax Agent ภายใต้ชื่อใหม่ Mavis และเปิดตัว Agent Teams ซึ่งให้ Agent หลายตัวที่มีบทบาทเฉพาะทำงานแบบขนานบนเดสก์ท็อปสำหรับงานยาวและซับซ้อน ระบบใช้บทบาท Leader, Worker และ Verifier พร้อม Team Engine แบบ state-machine ที่วนงานผ่านขั้นตอน producing, verifying และ done และรวม TokenPlan กับ Agent Plan เป็นการสมัครสมาชิกเดียวที่ครอบคลุม CLI, API และ Agent ผ่าน M2.7, music, video และ voice MiniMax กล่าวว่า Agent จะเปิดซอร์สเร็วๆ นี้ คาดว่าจะมาพร้อมกับโมเดล MiniMax M3 ขณะที่แอปเดสก์ท็อปพร้อมใช้งานแล้ว

    ทำไมเรื่องนี้สำคัญ: MiniMax อธิบายการแลกเปลี่ยนเชิงออกแบบเบื้องหลัง Agent Team แบบ Leader-Worker-Verifier รวมถึงต้นทุนการส่งต่อ การแชร์ และการรวมผล ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการสร้างมัลติเอเจนต์รันไทม์

  2. Modal Blog38

    Modal เปิดให้ผู้ใช้ Team และ Enterprise ทุกคนเข้าถึง Role-Based Access Control

    Modal เปิดให้ผู้ใช้ทุกคนในแพ็กเกจ Team และ Enterprise เข้าถึง Role-Based Access Control (RBAC) โดยออกแบบโดยยึด Environments เป็นขอบเขตความปลอดภัยที่บังคับใช้ได้ Restricted Environments ทำให้สมาชิกในเวิร์กสเปซเป็นแบบอ่านอย่างเดียวโดยค่าเริ่มต้น โดยมีเพียงผู้ใช้หรือเอเจนต์ที่ได้รับอนุญาตอย่างชัดเจนเท่านั้นที่สามารถ deploy และจัดการทรัพยากรได้ และ RBAC เชื่อมโยงกับ Audit Logs เพื่อบันทึกครบถ้วนว่าใครทำอะไรและเมื่อใด

21 พฤษภาคมวันพฤหัสบดี
  1. Vapi Blog20

    Vapi: นำ Voice AI สู่ ACCESS Chronic Care Panels

    Vapi ชี้ว่า Voice AI สามารถทำให้เสียงเป็นช่องทางที่คุ้มค่าทางเศรษฐกิจสำหรับการจัดการโรคเรื้อรังของ ACCESS โดยอ้างข้อมูลจาก Hiya ว่า 42% ของผู้บริโภคชอบใช้เสียงสำหรับการสื่อสารด้านสุขภาพ เพิ่มขึ้นจาก 33% ในปีก่อนหน้า โพสต์ดังกล่าวอธิบายเวิร์กโฟลว์การใช้งานจริงสามแบบ รวมถึงเอเจนต์คัดกรองผู้สนใจ Medicare ของ Spring Venture Group ซึ่งสร้างโดยวิศวกรสี่คนในหนึ่งสัปดาห์ ช่วยเพิ่มอัตราการโอนสายปิดการขายขึ้น 3% และสร้างมูลค่ารวมจากการประหยัดและการเพิ่มรายได้ใหม่กว่า $5.8M

20 พฤษภาคมวันพุธ
  1. Modal Blog22

    Applied Compute บน Modal ขยายการเรียนรู้แบบเสริมกำลังสำหรับเอเจนต์องค์กรแบบกำหนดเอง

    Applied Compute ฝึกฝนเอเจนต์ AI องค์กรแบบกำหนดเองผ่านการเรียนรู้แบบเสริมกำลัง โดยต่อยอดจากแซนด์บ็อกซ์ ฟังก์ชัน และการเริ่มต้นแบบเย็นระดับต่ำกว่าวินาทีของ Modal เพื่อให้การโรลเอาต์แบบขนานหลายพันรายการยังคงผูกติดกับ GPU เอเจนต์ของบริษัทได้แก่โมเดลการรับสมัคร merchant สำหรับ DoorDash และเอเจนต์ตรวจจับบั๊กสำหรับ Cognition

19 พฤษภาคมวันอังคาร
  1. Modal Blog55

    Modal เปิดตัวการผสานรวม Sandboxes ระดับเฟิร์สคลาสกับ Claude Managed Agents

    Modal ประกาศการผสานรวมระดับเฟิร์สคลาสระหว่าง Modal Sandboxes และ Claude Managed Agents ของ Anthropic ซึ่งช่วยให้การเรียกใช้เครื่องมือทั้งหมดทำงานภายใน Modal Sandbox ที่โฮสต์เอง ขณะที่ลูปเอเจนต์แบบจัดการของ Anthropic ดูแลสถานะเซสชัน Modal ระบุถึงการเริ่มต้นแบบเย็นที่รวดเร็วบนอิมเมจกำหนดเอง การคงอยู่ของสแนปช็อตและวอลุ่ม การคิดราคาแบบเบิร์สต์โดยไม่มีค่าใช้จ่ายขณะไม่ได้ใช้งาน โทเค็นเชื่อมต่ออายุสั้น และรองรับแซนด์บ็อกซ์พร้อมกันได้มากถึง 100,000 รายการต่อลูกค้าหนึ่งราย บริษัทยังเผยแพร่ตัวอย่างอ้างอิงสองรายการ ได้แก่เอเจนต์ CLI และบอต Slack บนโครงสร้างพื้นฐานเดียวกันของ Modal และ Managed Agents

12 พฤษภาคมวันอังคาร
  1. Modal Blog58

    Modal ทำ GPU แบบ serverless ได้จริงได้อย่างไร

    Modal เผยแพร่บทความเชิงวิศวกรรมเกี่ยวกับวิธีที่พวกเขาลดเวลาการเริ่มต้นรีพลิกา AI inference จากประมาณ 2,000 วินาทีเหลือประมาณ 50 วินาที โดยใช้สี่องค์ประกอบ: บัฟเฟอร์ของ GPU ที่ว่างและมีสุขภาพดี ระบบไฟล์แบบ lazy content-addressed ที่ชื่อ ImageFS การ checkpoint/restore ฝั่งโฮสต์ผ่าน runsc ของ gVisor และการ checkpoint/restore ของ CUDA ที่สร้างบนการสนับสนุนไดรเวอร์ของ Nvidia จากการ cold start กว่าหมื่นครั้ง ค่าเฉลี่ยเวลา boot ของ vLLM ลดลงจาก 95,679 ms เหลือ 13,797 ms และ SGLang จาก 83,713 ms เหลือ 17,486 ms สำหรับโมเดล Qwen 3 0.6B ขนาด ~1 GiB ใน bf16 บทความยังระบุข้อจำกัด รวมถึงสแนปช็อตที่รองรับ GPU เดียวเท่านั้น และความอ่อนไหวต่อสภาพแวดล้อมโฮสต์ที่ต้องใช้หลายสแนปช็อตต่อการดีพลอย

8 พฤษภาคมวันศุกร์
  1. Berkeley AI Research38

    การให้เหตุผลแบบขนานเชิงปรับตัว: การสำรวจการขยายการอนุมานอย่างมีประสิทธิภาพ

    การสำรวจของ Berkeley AI Research ตรวจสอบการให้เหตุผลแบบขนานเชิงปรับตัว ซึ่งโมเดลการให้เหตุผลเองตัดสินใจว่าเมื่อใดควรแยกงานย่อย จะสร้างเธรดพร้อมกันจำนวนเท่าใด และจะประสานงานกันอย่างไร บทความเปรียบเทียบสิ่งนี้กับวิธีการแบบขนานคงที่ เช่น self-consistency, Best-of-N, Tree of Thoughts, MCTS, ParaThinker, GroupThink และ Hogwild! Inference ซึ่งกำหนดโครงสร้างแบบขนานจากภายนอก การให้เหตุผลแบบลำดับขยายตัวเป็นเส้นตรงตามจำนวนโทเค็นและเวลาแฝง และเสี่ยงต่อ context-rot จึงเป็นแรงจูงใจให้ใช้เธรดแบบขนานที่สำรวจอย่างอิสระและพร้อมกัน

4 พฤษภาคมวันจันทร์
  1. Modal Blog36

    Modal เพิ่มประสิทธิภาพการอนุมานมัลติโหมดของ SGLang ขึ้นกว่า 10% ด้วยแคช Python dict

    Modal ได้ทำโปรไฟล์ตัวจัดตารางของ SGLang บนงานมัลติโหมด และแทนที่การจัดการ CUDA IPC handle ซ้ำๆ ด้วยแคช Python dict อย่างง่าย ทำให้ปริมาณงานเพิ่มขึ้น 16.2% และลดค่าเฉลี่ย TTFT ลง 13.2% และ TPOT 17.2% บน Qwen2.5-VL-3B-Instruct บน H100 การแก้ไขนี้ถูกรวมใน SGLang v0.5.10 แล้ว

1 พฤษภาคมวันศุกร์
  1. Vapi Blog34

    Open Stack กับ Integrated Solution: ข้อควรพิจารณาสำคัญสำหรับผู้สร้าง Voice AI

    Vapi Blog สัมภาษณ์ Iz Shalom จาก Cartesia เกี่ยวกับการเลือกระหว่าง integrated stack และ open modular stack สำหรับ Voice AI โดย integrated stack เหมาะกับ use case ที่แคบและการทำ proof of concept อย่างรวดเร็ว ส่วน open stack เหมาะกับหลาย use case การรองรับหลายภาษา และการสลับเปลี่ยนคอมโพเนนต์ บทความนี้กระตุ้นให้ทีมวัด P99 latency ในสภาพแวดล้อมของตนเองและสร้าง evaluation ที่รัดกุมก่อนขึ้น production

29 เมษายนวันพุธ
  1. Modal Blog33

    การสร้างเวิร์กโฟลว์พิสูจน์ทฤษฎีบทด้วย RL บน Modal

    AE Studio อธิบายรายละเอียดว่าพวกเขาฝึก LLM ให้พิสูจน์ทฤษฎีบททางคณิตศาสตร์ด้วยการเรียนรู้แบบเสริมกำลังบน Modal ได้อย่างไร โดยเปรียบเทียบ Evolution Strategies กับ GRPO ขณะที่คงลูปการฝึกให้คงที่ การตั้งค่านี้รันการอนุมาน vLLM บน GPU การตรวจสอบด้วยคอมไพเลอร์ Lean ในแซนด์บ็อกซ์ CPU แบบแยก และออร์เคสเตรเตอร์น้ำหนักเบา โดยใช้อิมเมจแยกตามฟังก์ชัน การกระจายงานด้วย .map() และ Volumes สำหรับน้ำหนักฐาน

23 เมษายนวันพฤหัสบดี
  1. Factory55

    Factory เปิดตัวสกิล Automated QA ที่ทดสอบแอปเหมือนผู้ใช้จริงและรายงานผลใน PR

    Factory เปิดตัวสกิล Automated QA ที่ขับเคลื่อนแอปในลักษณะเดียวกับที่ผู้ใช้จริงทำ ทั้งการกรอกฟอร์ม พิมพ์ในเทอร์มินัล และเรียก endpoint จากนั้นโพสต์รายงานแบบมีโครงสร้างพร้อมภาพหน้าจอ สแนปช็อตเทอร์มินัล และ API trace เป็นคอมเมนต์เดียวบนทุก pull request สกิลนี้ทำงานทุกครั้งที่ push ผ่าน Droid สามารถตั้งค่าเป็น CI check แบบเลือกได้ที่ทริกเกอร์ด้วย label ของ PR คำสั่งคอมเมนต์ หรือการสั่งแบบ manual และยังใช้ได้ในเครื่องผ่าน /qa ในเซสชัน Droid ใดก็ได้ การตั้งค่าใช้ /install-qa และฟีเจอร์นี้พร้อมใช้งานแล้ววันนี้ในทุกแพ็กเกจของ Factory

22 เมษายนวันพุธ
  1. Replit Blog22

    Replit คว้ารางวัล Google Cloud AI Tooling Partner of the Year ประจำปี 2026

    Google Cloud ประกาศให้ Replit เป็น AI Tooling Partner of the Year ประจำปี 2026 โดยยกย่องแพลตฟอร์มที่ปัจจุบันมีผู้ใช้งานมากกว่า 50 ล้านคนใน 85% ของบริษัท Fortune 500 รางวัลนี้เกิดขึ้นหลังการเปิดตัว Agent 4 ของ Replit ซึ่งบริษัทระบุว่าเร็วกว่า Agent 3 ถึง 10 เท่าและสามารถรันหลายเอเจนต์แบบขนานกันได้ Replit พร้อมใช้งานบน Google Cloud Marketplace และเชื่อมต่อกับ Cloud Run, Kubernetes Engine และ BigQuery

20 เมษายนวันจันทร์
  1. Berkeley AI Research38

    GRASP: การวางแผนแบบไล่ระดับสำหรับโมเดลโลกในระยะยาว

    GRASP เป็นนักวางแผนแบบไล่ระดับใหม่สำหรับโมเดลโลกที่เรียนรู้ได้ ซึ่งทำให้การวางแผนระยะยาวเป็นเรื่องปฏิบัติได้จริงโดยการยกเส้นทางการเคลื่อนที่ขึ้นเป็นสถานะเสมือนเพื่อการปรับให้เหมาะสมแบบขนานในเวลา เพิ่มความสุ่มให้กับการวนซ้ำของสถานะเพื่อการสำรวจ และปรับรูปร่างของไล่ระดับเพื่อให้การกระทำได้รับสัญญาณที่ชัดเจนพร้อมทั้งหลีกเลี่ยงไล่ระดับสถานะ-อินพุตที่เปราะบางผ่านโมเดลการมองเห็นมิติสูง งานนี้จัดการกับกราฟการคำนวณที่มีสภาพไม่ดี จุดต่ำสุดเฉพาะที่แบบไม่โลภ และโหมดความล้มเหลวแฝงมิติสูงที่ทำให้การวางแผนระยะยาวเปราะบาง งานนี้ทำร่วมกับ Mike Rabbat, Aditi Krishnapriyan, Yann LeCun และ Amir Bar

17 เมษายนวันศุกร์
  1. OpenAI Developers Blog60

    OpenAI เผยแพร่รายการตรวจสอบการติดตั้งใช้งาน API สำหรับเวิร์กโหลด GPT-6

    OpenAI เผยแพร่รายการตรวจสอบการติดตั้งใช้งาน API ที่แนะนำนักพัฒนาในการย้ายเวิร์กโหลดไปยัง Responses API และตระกูลโมเดล GPT-6 ซึ่งรวมถึง gpt-6-astra, gpt-6.1-sol, gpt-6 Sol และ gpt-6 Luna คู่มือครอบคลุมระดับ reasoning.effort ตั้งแต่ low ถึง max, text.verbosity, tool_search พร้อมการโหลดเครื่องมือแบบเลื่อนออกไป, Programmatic Tool Calling, Multi-agent, compaction, prompt caching และโหมด WebSocket ซึ่ง OpenAI ระบุว่าแสดงให้เห็นการทำงานแบบ end-to-end เร็วขึ้นถึงประมาณ 40% สำหรับเวิร์กโฟลว์ที่มีการเรียกใช้เครื่องมือ 20 ครั้งขึ้นไป นอกจากนี้ยังมีรายละเอียดขั้นตอนด้านความน่าเชื่อถือและความปลอดภัย เช่น การจัดการข้อผิดพลาด 429 และ 503, background=True สำหรับงานที่ใช้เวลานาน, safety_identifier และการตรวจสอบ misalignment

    ทำไมเรื่องนี้สำคัญ: รายการตรวจสอบการติดตั้งใช้งานอย่างเป็นทางการของ OpenAI รวบรวมการเลือกโมเดล, reasoning effort, tool search, compaction และโหมด WebSocket ไว้ในคู่มือการย้ายระบบเดียวสำหรับเวิร์กโหลด GPT-6

15 เมษายนวันพุธ
  1. Vapi Blog50

    Vapi เปิดตัว Vapi Monitoring สำหรับ Production Voice Agents

    Vapi เปิดตัว Vapi Monitoring ซึ่งเป็นผลิตภัณฑ์ด้านการตรวจสอบที่ให้ทีมต่างๆ สร้างตัวตรวจสอบที่ปรับแต่งได้สำหรับ voice agents และรับการแจ้งเตือนเมื่อถึงเกณฑ์ที่กำหนด โดยครอบคลุมการตรวจสอบประสิทธิภาพและการปฏิบัติตามข้อกำหนดสำหรับการสมัครสมาชิก Enterprise รวมถึงการตรวจสอบด้านเทคนิคและโครงสร้างพื้นฐาน และแสดงปัญหาต่างๆ พร้อมจำนวนสายที่ได้รับผลกระทบและคำแนะนำในการแก้ไข

  2. Modal Blog58

    Modal และ OpenAI Agents SDK: การสร้างฮาร์เนสเอเจนต์เขียนโค้ดแบบขนานด้วยแซนด์บ็อกซ์และ GPU

    Modal เผยแพร่บทแนะนำการสร้างฮาร์เนสเอเจนต์เขียนโค้ดแบบกำหนดเองบน OpenAI Agents SDK ซึ่ง OpenAI เปิดตัววันนี้ โดยใช้ Modal Sandboxes เพื่อมอบสภาพแวดล้อม Linux แบบแยกส่วนและ GPU ให้กับเอเจนต์ คู่มือเริ่มจากเอเจนต์ขั้นต่ำที่ใช้ exec จากนั้นเพิ่มเซสชันสำหรับหน่วยความจำ ออร์เคสเตรเตอร์พร้อมพูลซับเอเจนต์สำหรับงานอะซิงโครนัสแบบขนาน โควตา GPU สแนปช็อตไฟล์ระบบเพื่อลดความซ้ำซ้อนในการตั้งค่า และระบบย่อยทักษะ ปิดท้ายด้วยฮาร์เนสที่รัน Parameter Golf challenge ของ OpenAI ข้ามซับเอเจนต์ GPU แบบขนาน Modal อ้างถึงกองเอเจนต์เขียนโค้ดเบื้องหลังของ Ramp บน Modal ซึ่งระบุว่าตอนนี้สร้าง PR มากกว่าครึ่งหนึ่งของบริษัท

14 เมษายนวันอังคาร
  1. Vapi Blog27

    วิศวกรของ Vapi แบ่งปันบทเรียนจากการปรับใช้ Voice AI ในระดับองค์กร

    วิศวกร Forward-Deployed ของ Vapi กล่าวว่าช่องว่างระหว่างเดโมกับการใช้งานจริงคือจุดที่โครงการ Voice AI ระดับองค์กรส่วนใหญ่หยุดชะงัก ต้องมีการทดสอบอย่างละเอียด การกำหนด guardrails และการออกแบบที่อิงเจตนาแทนการจับคู่วลีแบบตรงตัว ทีมงานเตือนถึง "personality drift" ที่เอเจนต์รับสไตล์การพูดของผู้โทร และระบุว่า LLM ไม่สามารถกำหนดผลลัพธ์ได้แน่นอน ดังนั้นการปรับใช้จึงต้องกำหนดระดับความคลาดเคลื่อนที่ยอมรับได้และวนซ้ำอย่างต่อเนื่อง พวกเขาแนะนำให้เริ่มจากการปรับต้นทุนให้เหมาะสมแต่กำหนดเป้าหมายไปที่การสร้างรายได้ และวัดเกณฑ์การโต้ตอบที่ดีว่าต้องใช้เวลาต่ำกว่าหนึ่งนาที