บล็อกของ Modal อธิบายว่า host overhead ซึ่งเป็นช่วงที่ GPU ว่างรอ CPU เตรียมงาน ปรากฏเป็นการใช้งาน GPU kernel ที่ต่ำในการอนุมาน AI เมื่อ host overhead อยู่ที่ 50% ต้นทุนการอนุมานด้วย GPU จะสูงเป็น 2 เท่าของที่ควรจะเป็น บทความระบุรายละเอียดการแก้ไขที่ใช้ในเอนจินการอนุมานแบบโอเพนซอร์สในสภาพแวดล้อมการผลิต รวมถึงการสร้างเทนเซอร์บนอุปกรณ์แทนการถ่ายโอน และการลดการเรียกใช้ CUDA kernel ที่ไม่จำเป็น
Decagon และ Modal ร่วมมือกันสร้าง Decagon Voice 2.0 โดยลด latency ลง 65% พร้อมปรับปรุงการจดจำเจตนาและคุณภาพการตอบสนอง Decagon fine-tune โมเดลโอเพนซอร์สขนาดกะทัดรัดด้วย SFT และ RL เพื่อเอาชนะโมเดล frontier ขนาดใหญ่กว่า ขณะที่ Modal ฝึกโมเดล draft EAGLE3 แบบกำหนดเองซึ่งมี accept length สูงขึ้น 38% และวิศวกรรม SGLang ใหม่ด้วยตัวจัดตาราง speculative decoding แบบ async เพิ่ม throughput ได้ถึง 12%
วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและถอดรหัสการทำงานของ attention kernel ที่ปรับแต่งสำหรับ Blackwell เนื่องจากยังไม่มีรายงานทางเทคนิคอย่างเป็นทางการ บทความได้ติดตาม tile หนึ่งผ่านไปป์ไลน์แบบอะซิงโครนัสที่แยกส่วนตาม warp ภายใน kernel และอธิบายเทคนิคทางคณิตศาสตร์สองอย่าง ได้แก่ ฟังก์ชัน exponential แบบซอฟต์แวร์ที่ใช้พหุนามกำลังสามซึ่งสามารถแทนการยกกำลังผ่าน SFU และกฎการปรับสเกลแบบ online softmax ที่ฉลาดกว่าซึ่ง Tri Dao กล่าวว่าลดการแก้ไขลงได้ถึง 10 เท่า มีรายงานว่า FA4 เร็วกว่า attention kernel แบบ closed-source cudnn ของ Nvidia ประมาณ 20% และในขณะที่เขียนยังไม่มีเวอร์ชัน backward
ทำไมเรื่องนี้สำคัญ: วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและอธิบายไปป์ไลน์ที่แยกส่วนตาม warp พร้อมเทคนิคทางคณิตศาสตร์สองอย่าง ซึ่งให้มุมมองที่นำไปประยุกต์ใช้ได้เกี่ยวกับทิศทางของงานออกแบบ CUDA kernel
Modal ประกาศเปิดตัว GPU memory snapshots ในเวอร์ชัน alpha โดยขยายระบบ checkpoint/restore ที่มีอยู่ให้สามารถบันทึก GPU vRAM, CUDA kernels, streams และ contexts เพื่อให้ GPU workloads กู้คืนจากสถานะที่หยุดไว้แทนการสร้าง CUDA state ใหม่หลังบูต
ทำไมเรื่องนี้สำคัญ: Modal เพิ่ม GPU state เข้าไปใน memory snapshots ของตน ช่วยลดเวลา cold boot สำหรับ torch.compile และ vLLM workloads ได้มากถึง 10 เท่า และทำให้ scale-to-zero ใช้งานได้จริงมากขึ้น
บทความใน Modal Blog โต้แย้งว่าราคาแบบ "ดอลลาร์ต่อโทเคน" ซึ่งสืบทอดมาจากผู้ให้บริการ API อย่าง OpenAI, Anthropic และ Alphabet สร้างผลเสียอย่างมากต่อทีมที่รันการอนุมาน LLM แบบโฮสต์เอง โดยอ้างว่าผู้ใช้แอปพลิเคชันสนใจคำขอมากกว่าโทเคน และจำเป็นต้องใช้กรอบการคิดแบบต่อคำขอเพื่อวิเคราะห์เวลาแฝง จำนวนรีพลิกา และต้นทุนการประมวลผล
Modal ได้เปิดตัวคลัสเตอร์ฝึกอบรมหลายโหนดในเวอร์ชันเบต้า ช่วยให้ผู้ใช้เข้าถึง GPU หลายสิบตัวข้ามโฮสต์หลายเครื่องได้โดยการเพิ่ม @clustered decorator พร้อมการเชื่อมต่อ Infiniband RDMA ความเร็ว 3.2 Tbps เพื่อการขยายขนาดแบบเกือบเชิงเส้น แพลตฟอร์มนี้ยังมี GPU NVIDIA B200 และ H200 แบบเซิร์ฟเวอร์เลสในราคา $6.25/ชม. และ $4.54/ชม. ตามลำดับ โดยอ้างว่าการอนุมาน LLM เร็วขึ้นถึง 2-4 เท่าเมื่อเทียบกับ H100s Modal ยังเปิดตัว Client 1.0 โดยเน้นความเสถียรของ API พร้อมอัปเดตอื่นๆ รวมถึงเมธอด Volume แบบอ่านอย่างเดียวและการรองรับเขตเวลาสำหรับตารางเวลา Cron
Mistral และ Llama 3 มีแนวคิดที่แตกต่างกันสำหรับ Voice AI: โมเดล Mistral ตั้งแต่ 7B ถึง Mistral Small 3.1 (24B) เน้นประสิทธิภาพแบบ low-latency ขณะที่ Llama 3 ขยายจาก 8B ถึง 70B เพื่อการ reasoning ที่แข็งแกร่งขึ้นและการรองรับหลายภาษา Mistral Small 3.1 ใช้เวลา 0.29 วินาทีถึง token แรกที่ 150-166 tokens ต่อวินาที และ Mistral Small 24B เอาชนะ Llama 3.1 8B Instruct ใน ARC-C, GPQA และ MMLU ขณะที่ Llama 3.1 405B ทำคะแนนได้ 85.2% ใน MMLU และ 96.8% ใน GSM8K
Gemini 2.5 Flash และ 2.5 Pro ของ Google แตกต่างกันหลักๆ ที่ความเร็วเทียบกับความลึกของการให้เหตุผล โดยทั้งคู่มีหน้าต่างบริบท 1M โทเคน และพร้อมใช้งานแบบเนทีฟใน Vapi สำหรับ voice agent โดย Flash ส่งโทเคนแรกใน 0.21–0.37 วินาที ที่ 163 โทเคนต่อวินาที และมีค่าใช้จ่าย $0.15/$0.60 ต่อล้านโทเคนอินพุต/เอาต์พุต ขณะที่ Pro มีค่าใช้จ่าย $1.25/$10 และเพิ่มโหมด Deep Think พร้อมแผนรองรับหน้าต่าง 2M โทเคน
Modal เปิดให้ผู้ถือบัญชีทุกคนสามารถใช้ GPU Nvidia B200 และ H200 ได้โดยไม่ต้องติดต่อฝ่ายขายหรือขอโควตา โดยคิดราคาที่ 6.25 ดอลลาร์ต่อชั่วโมงและ 4.54 ดอลลาร์ต่อชั่วโมงตามลำดับ B200 มีหน่วยความจำ HBM3e 180 GB และแบนด์วิดท์ 8 TB/s และในการทดสอบ vLLM ของ Modal ที่รัน DeepSeek V3 ในความแม่นยำ 8-bit การใช้ 8xB200 ลดเวลามัธยฐานถึงโทเคนแรกได้ 2.5 เท่าเมื่อเทียบกับ 8xH200 ที่ 1 คำขอต่อวินาที
DeepSeek V3 ประมวลผลโทเค็นต่อวินาทีมากกว่า R1 อยู่ 47% ในราคา 0.28 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต ขณะที่ R1 มีค่าใช้จ่าย 2.19 ดอลลาร์ต่อล้านโทเค็นและรันลูปการให้เหตุผลภายในสำหรับงานที่ยากขึ้น R1 ทำคะแนนได้ 97.3% บน MATH-500 และ 79.8% บน AIME 2024 เทียบกับ V3 ที่ได้ 90.2% และ 39.2% ทีมส่วนใหญ่กำหนดเส้นทาง 80-90% ของคำถามง่าย ๆ ไปยัง V3 และส่งงานให้เหตุผลที่ซับซ้อนไปยัง R1
Modal เผยแพร่คู่มือที่แยกความแตกต่างของสามสิ่งที่มักถูกเรียกว่า "GPU utilization": GPU Allocation Utilization (สัดส่วน GPU-วินาทีที่รันโค้ดแอปพลิเคชันต่อ GPU-วินาทีที่จ่ายเงินไป), GPU Kernel Utilization (สัดส่วนเวลาที่รันโค้ดบน GPU) และ Model FLOP/s Utilization (สัดส่วนของแบนด์วิดท์การคำนวณตามทฤษฎีที่ถูกใช้) คู่มือนี้เน้นไปที่งาน inference ของโครงข่ายประสาทเทียม ซึ่ง Modal เรียกว่าเป็นศูนย์สร้างรายได้มากกว่าศูนย์ต้นทุน
Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า
ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA L40S ในราคา $1.95/ชม. โดยวางตำแหน่งเป็นทางเลือกที่เร็วกว่าและมีหน่วยความจำมากกว่าตัวเร่งความเร็ว inference ยอดนิยมที่สุดอย่าง A10 โดย L40S มี RAM ของ GPU เพิ่มเป็นสองเท่าที่ 48GB ทำให้โมเดลอย่าง Flux.1-schnell รันด้วยความแม่นยำ 16bit บน GPU เดียวได้ และให้ความเร็วเพิ่มขึ้นราว 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และมากกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผลแบบ 16bit Tensor Core
Modal ได้เพิ่มการรองรับ dynamic batching แบบเนทีฟ ทำให้ฟังก์ชัน inference สามารถจัดกลุ่มคำขอได้ผ่าน decorator @modal.batched() ตัวเดียว พร้อมพารามิเตอร์ max_batch_size และ wait_ms บน OpenAI's Whisper large v3 ที่รันบน A10G การตั้งค่า max_batch_size ที่ 64 เพิ่มทรูพุตจาก ~1.2 เป็น ~3.3 คำขอต่อวินาทีต่อคอนเทนเนอร์ และลดต้นทุน inference ลง 65%
Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด
ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ
Cursor 发布了其最初“Problems”文章的后续内容，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“演奏”低熵变更序列——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ
ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส