Modal ได้ทำโปรไฟล์ตัวจัดตารางของ SGLang บนงานมัลติโหมด และแทนที่การจัดการ CUDA IPC handle ซ้ำๆ ด้วยแคช Python dict อย่างง่าย ทำให้ปริมาณงานเพิ่มขึ้น 16.2% และลดค่าเฉลี่ย TTFT ลง 13.2% และ TPOT 17.2% บน Qwen2.5-VL-3B-Instruct บน H100 การแก้ไขนี้ถูกรวมใน SGLang v0.5.10 แล้ว
AE Studio อธิบายรายละเอียดว่าพวกเขาฝึก LLM ให้พิสูจน์ทฤษฎีบททางคณิตศาสตร์ด้วยการเรียนรู้แบบเสริมกำลังบน Modal ได้อย่างไร โดยเปรียบเทียบ Evolution Strategies กับ GRPO ขณะที่คงลูปการฝึกให้คงที่ การตั้งค่านี้รันการอนุมาน vLLM บน GPU การตรวจสอบด้วยคอมไพเลอร์ Lean ในแซนด์บ็อกซ์ CPU แบบแยก และออร์เคสเตรเตอร์น้ำหนักเบา โดยใช้อิมเมจแยกตามฟังก์ชัน การกระจายงานด้วย .map() และ Volumes สำหรับน้ำหนักฐาน
GRASP เป็นนักวางแผนแบบไล่ระดับใหม่สำหรับโมเดลโลกที่เรียนรู้ได้ ซึ่งทำให้การวางแผนระยะยาวเป็นเรื่องปฏิบัติได้จริงโดยการยกเส้นทางการเคลื่อนที่ขึ้นเป็นสถานะเสมือนเพื่อการปรับให้เหมาะสมแบบขนานในเวลา เพิ่มความสุ่มให้กับการวนซ้ำของสถานะเพื่อการสำรวจ และปรับรูปร่างของไล่ระดับเพื่อให้การกระทำได้รับสัญญาณที่ชัดเจนพร้อมทั้งหลีกเลี่ยงไล่ระดับสถานะ-อินพุตที่เปราะบางผ่านโมเดลการมองเห็นมิติสูง งานนี้จัดการกับกราฟการคำนวณที่มีสภาพไม่ดี จุดต่ำสุดเฉพาะที่แบบไม่โลภ และโหมดความล้มเหลวแฝงมิติสูงที่ทำให้การวางแผนระยะยาวเปราะบาง งานนี้ทำร่วมกับ Mike Rabbat, Aditi Krishnapriyan, Yann LeCun และ Amir Bar
นักวิจัยจาก Berkeley AI Research อธิบายถึง SPEX และ ProxySPEX อัลกอริทึมที่ระบุปฏิสัมพันธ์ที่มีอิทธิพลของคุณลักษณะ ข้อมูล และองค์ประกอบของโมเดลใน LLMs ในระดับที่ใหญ่กว่าวิธีก่อนหน้ามาก SPEX ตีความการค้นหาปฏิสัมพันธ์ใหม่เป็นการกู้คืนแบบเบาบางโดยใช้ความเบาบางและ low-degreeness ขณะที่ ProxySPEX ใช้ประโยชน์จากลำดับชั้นเพื่อจับคู่กับ SPEX ด้วยการ ablation น้อยลงประมาณ 10 เท่า ในการวิเคราะห์ความรู้สึก SPEX ให้ความซื่อสัตย์เทียบเท่า Faith-Shap และ Faith-Banzhaf บนอินพุตสั้นและคงไว้เมื่อบริบทขยายไปถึงหลายพันคุณลักษณะ
การเรียนรู้อย่างต่อเนื่องแยกไม่ออกจากความเชี่ยวชาญเฉพาะทาง เพราะต้นทุนของการจดจำขยายตามขอบเขต: เมื่อบริบทเพิ่มขึ้น KV cache จะเติบโตแบบเชิงเส้นและอาจมีขนาดเกินน้ำหนักโมเดลทั้งหมด ดังนั้นข้อมูลจึงต้องย้ายจากระดับโทเค็นเข้าสู่น้ำหนัก การเชี่ยวชาญเฉพาะงานได้รับการแก้ไขแล้วเป็นหลักผ่านไปป์ไลน์การปรับแต่งอย่างต่อเนื่อง ขณะที่การคงอยู่แบบครั้งเดียวที่มีขอบเขตกว้าง ข้อมูลป้อนกลับเบาบาง ยังคงเป็นปัญหาที่ยาก
Reducto ย้ายเวิร์กโหลดการอนุมานสำหรับโมเดลประมวลผลเอกสารกว่า 30 โมเดลไปยัง Modal ทำให้เวลาแฝง P90 ลดลง 3 เท่า การสแนปช็อตหน่วยความจำ GPU ลดเวลาบูตเย็นลง 83% จากประมาณ 70 วินาทีเหลือประมาณ 12 วินาที ขณะที่พูลออโตสเกลแยกตามลูกค้าแต่ละรายช่วยแยกการรับมือกับปริมาณการใช้งานที่พุ่งสูง ในระหว่างการทดสอบโหลด Reducto ขยายไปป์ไลน์การนำเข้าข้อมูลไปยัง GPU กว่า 1,000 ตัวได้ในเวลาไม่ถึงหนึ่งชั่วโมง เพื่อสาธิตความสามารถ 100,000 หน้าต่อนาที
บล็อกของ Modal อธิบายว่า host overhead ซึ่งเป็นช่วงที่ GPU ว่างรอ CPU เตรียมงาน ปรากฏเป็นการใช้งาน GPU kernel ที่ต่ำในการอนุมาน AI เมื่อ host overhead อยู่ที่ 50% ต้นทุนการอนุมานด้วย GPU จะสูงเป็น 2 เท่าของที่ควรจะเป็น บทความระบุรายละเอียดการแก้ไขที่ใช้ในเอนจินการอนุมานแบบโอเพนซอร์สในสภาพแวดล้อมการผลิต รวมถึงการสร้างเทนเซอร์บนอุปกรณ์แทนการถ่ายโอน และการลดการเรียกใช้ CUDA kernel ที่ไม่จำเป็น
Decagon และ Modal ร่วมมือกันสร้าง Decagon Voice 2.0 โดยลด latency ลง 65% พร้อมปรับปรุงการจดจำเจตนาและคุณภาพการตอบสนอง Decagon fine-tune โมเดลโอเพนซอร์สขนาดกะทัดรัดด้วย SFT และ RL เพื่อเอาชนะโมเดล frontier ขนาดใหญ่กว่า ขณะที่ Modal ฝึกโมเดล draft EAGLE3 แบบกำหนดเองซึ่งมี accept length สูงขึ้น 38% และวิศวกรรม SGLang ใหม่ด้วยตัวจัดตาราง speculative decoding แบบ async เพิ่ม throughput ได้ถึง 12%
วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและถอดรหัสการทำงานของ attention kernel ที่ปรับแต่งสำหรับ Blackwell เนื่องจากยังไม่มีรายงานทางเทคนิคอย่างเป็นทางการ บทความได้ติดตาม tile หนึ่งผ่านไปป์ไลน์แบบอะซิงโครนัสที่แยกส่วนตาม warp ภายใน kernel และอธิบายเทคนิคทางคณิตศาสตร์สองอย่าง ได้แก่ ฟังก์ชัน exponential แบบซอฟต์แวร์ที่ใช้พหุนามกำลังสามซึ่งสามารถแทนการยกกำลังผ่าน SFU และกฎการปรับสเกลแบบ online softmax ที่ฉลาดกว่าซึ่ง Tri Dao กล่าวว่าลดการแก้ไขลงได้ถึง 10 เท่า มีรายงานว่า FA4 เร็วกว่า attention kernel แบบ closed-source cudnn ของ Nvidia ประมาณ 20% และในขณะที่เขียนยังไม่มีเวอร์ชัน backward
ทำไมเรื่องนี้สำคัญ: วิศวกรของ Modal อ่านซอร์สโค้ด Flash Attention 4 ที่เผยแพร่แล้วและอธิบายไปป์ไลน์ที่แยกส่วนตาม warp พร้อมเทคนิคทางคณิตศาสตร์สองอย่าง ซึ่งให้มุมมองที่นำไปประยุกต์ใช้ได้เกี่ยวกับทิศทางของงานออกแบบ CUDA kernel
Modal ประกาศเปิดตัว GPU memory snapshots ในเวอร์ชัน alpha โดยขยายระบบ checkpoint/restore ที่มีอยู่ให้สามารถบันทึก GPU vRAM, CUDA kernels, streams และ contexts เพื่อให้ GPU workloads กู้คืนจากสถานะที่หยุดไว้แทนการสร้าง CUDA state ใหม่หลังบูต
ทำไมเรื่องนี้สำคัญ: Modal เพิ่ม GPU state เข้าไปใน memory snapshots ของตน ช่วยลดเวลา cold boot สำหรับ torch.compile และ vLLM workloads ได้มากถึง 10 เท่า และทำให้ scale-to-zero ใช้งานได้จริงมากขึ้น
บทความใน Modal Blog โต้แย้งว่าราคาแบบ "ดอลลาร์ต่อโทเคน" ซึ่งสืบทอดมาจากผู้ให้บริการ API อย่าง OpenAI, Anthropic และ Alphabet สร้างผลเสียอย่างมากต่อทีมที่รันการอนุมาน LLM แบบโฮสต์เอง โดยอ้างว่าผู้ใช้แอปพลิเคชันสนใจคำขอมากกว่าโทเคน และจำเป็นต้องใช้กรอบการคิดแบบต่อคำขอเพื่อวิเคราะห์เวลาแฝง จำนวนรีพลิกา และต้นทุนการประมวลผล
Modal ได้เปิดตัวคลัสเตอร์ฝึกอบรมหลายโหนดในเวอร์ชันเบต้า ช่วยให้ผู้ใช้เข้าถึง GPU หลายสิบตัวข้ามโฮสต์หลายเครื่องได้โดยการเพิ่ม @clustered decorator พร้อมการเชื่อมต่อ Infiniband RDMA ความเร็ว 3.2 Tbps เพื่อการขยายขนาดแบบเกือบเชิงเส้น แพลตฟอร์มนี้ยังมี GPU NVIDIA B200 และ H200 แบบเซิร์ฟเวอร์เลสในราคา $6.25/ชม. และ $4.54/ชม. ตามลำดับ โดยอ้างว่าการอนุมาน LLM เร็วขึ้นถึง 2-4 เท่าเมื่อเทียบกับ H100s Modal ยังเปิดตัว Client 1.0 โดยเน้นความเสถียรของ API พร้อมอัปเดตอื่นๆ รวมถึงเมธอด Volume แบบอ่านอย่างเดียวและการรองรับเขตเวลาสำหรับตารางเวลา Cron
Mistral และ Llama 3 มีแนวคิดที่แตกต่างกันสำหรับ Voice AI: โมเดล Mistral ตั้งแต่ 7B ถึง Mistral Small 3.1 (24B) เน้นประสิทธิภาพแบบ low-latency ขณะที่ Llama 3 ขยายจาก 8B ถึง 70B เพื่อการ reasoning ที่แข็งแกร่งขึ้นและการรองรับหลายภาษา Mistral Small 3.1 ใช้เวลา 0.29 วินาทีถึง token แรกที่ 150-166 tokens ต่อวินาที และ Mistral Small 24B เอาชนะ Llama 3.1 8B Instruct ใน ARC-C, GPQA และ MMLU ขณะที่ Llama 3.1 405B ทำคะแนนได้ 85.2% ใน MMLU และ 96.8% ใน GSM8K
Gemini 2.5 Flash และ 2.5 Pro ของ Google แตกต่างกันหลักๆ ที่ความเร็วเทียบกับความลึกของการให้เหตุผล โดยทั้งคู่มีหน้าต่างบริบท 1M โทเคน และพร้อมใช้งานแบบเนทีฟใน Vapi สำหรับ voice agent โดย Flash ส่งโทเคนแรกใน 0.21–0.37 วินาที ที่ 163 โทเคนต่อวินาที และมีค่าใช้จ่าย $0.15/$0.60 ต่อล้านโทเคนอินพุต/เอาต์พุต ขณะที่ Pro มีค่าใช้จ่าย $1.25/$10 และเพิ่มโหมด Deep Think พร้อมแผนรองรับหน้าต่าง 2M โทเคน
Modal เปิดให้ผู้ถือบัญชีทุกคนสามารถใช้ GPU Nvidia B200 และ H200 ได้โดยไม่ต้องติดต่อฝ่ายขายหรือขอโควตา โดยคิดราคาที่ 6.25 ดอลลาร์ต่อชั่วโมงและ 4.54 ดอลลาร์ต่อชั่วโมงตามลำดับ B200 มีหน่วยความจำ HBM3e 180 GB และแบนด์วิดท์ 8 TB/s และในการทดสอบ vLLM ของ Modal ที่รัน DeepSeek V3 ในความแม่นยำ 8-bit การใช้ 8xB200 ลดเวลามัธยฐานถึงโทเคนแรกได้ 2.5 เท่าเมื่อเทียบกับ 8xH200 ที่ 1 คำขอต่อวินาที
DeepSeek V3 ประมวลผลโทเค็นต่อวินาทีมากกว่า R1 อยู่ 47% ในราคา 0.28 ดอลลาร์ต่อล้านโทเค็นเอาต์พุต ขณะที่ R1 มีค่าใช้จ่าย 2.19 ดอลลาร์ต่อล้านโทเค็นและรันลูปการให้เหตุผลภายในสำหรับงานที่ยากขึ้น R1 ทำคะแนนได้ 97.3% บน MATH-500 และ 79.8% บน AIME 2024 เทียบกับ V3 ที่ได้ 90.2% และ 39.2% ทีมส่วนใหญ่กำหนดเส้นทาง 80-90% ของคำถามง่าย ๆ ไปยัง V3 และส่งงานให้เหตุผลที่ซับซ้อนไปยัง R1
Modal เผยแพร่คู่มือที่แยกความแตกต่างของสามสิ่งที่มักถูกเรียกว่า "GPU utilization": GPU Allocation Utilization (สัดส่วน GPU-วินาทีที่รันโค้ดแอปพลิเคชันต่อ GPU-วินาทีที่จ่ายเงินไป), GPU Kernel Utilization (สัดส่วนเวลาที่รันโค้ดบน GPU) และ Model FLOP/s Utilization (สัดส่วนของแบนด์วิดท์การคำนวณตามทฤษฎีที่ถูกใช้) คู่มือนี้เน้นไปที่งาน inference ของโครงข่ายประสาทเทียม ซึ่ง Modal เรียกว่าเป็นศูนย์สร้างรายได้มากกว่าศูนย์ต้นทุน
Modal เปิดตัวการคืนค่าจาก memory snapshot สำหรับ runtime ของคอนเทนเนอร์ GPU แบบ serverless ซึ่งทางบริษัทกล่าวว่าช่วยให้ cold start เร็วขึ้นประมาณ 2.5 เท่าเมื่อเทียบกับการเริ่มต้นคอนเทนเนอร์มาตรฐาน ฟังก์ชัน inference ของ Stable Diffusion ที่ปกติใช้เวลาราว 13 วินาที ตอนนี้คืนค่าได้ใน 3.5 วินาที และโปรแกรม import torch อย่างง่ายลดจากราว 5 วินาที เหลือประมาณ 1.05 วินาทีที่ p50 และ 0.69 วินาทีที่ p0 snapshots สร้างบน checkpoint/restore ของ gVisor และถูกสร้างตามต้องการ โดยจะ fallback ไปใช้การเริ่มต้นคอนเทนเนอร์มาตรฐานโดยอัตโนมัติเมื่อการคืนค่าล้มเหลว สถานะของ GPU ยังไม่ถูกบันทึก จึงต้องสร้างใหม่หลังการคืนค่า
ทำไมเรื่องนี้สำคัญ: Modal อธิบายว่า memory snapshots ที่อิง gVisor ลด cold start ของ serverless ได้อย่างไร พร้อมเวลาคืนค่าที่เป็นรูปธรรมสำหรับฟังก์ชัน Stable Diffusion และตัวอย่างการ import torch
Modal เปิดให้ผู้ใช้ทุกคนเข้าถึง GPU NVIDIA L40S ในราคา $1.95/ชม. โดยวางตำแหน่งเป็นทางเลือกที่เร็วกว่าและมีหน่วยความจำมากกว่าตัวเร่งความเร็ว inference ยอดนิยมที่สุดอย่าง A10 โดย L40S มี RAM ของ GPU เพิ่มเป็นสองเท่าที่ 48GB ทำให้โมเดลอย่าง Flux.1-schnell รันด้วยความแม่นยำ 16bit บน GPU เดียวได้ และให้ความเร็วเพิ่มขึ้นราว 40% สำหรับงานที่จำกัดด้วยหน่วยความจำ และมากกว่า 100% สำหรับงานที่จำกัดด้วยการประมวลผลแบบ 16bit Tensor Core
Modal ได้เพิ่มการรองรับ dynamic batching แบบเนทีฟ ทำให้ฟังก์ชัน inference สามารถจัดกลุ่มคำขอได้ผ่าน decorator @modal.batched() ตัวเดียว พร้อมพารามิเตอร์ max_batch_size และ wait_ms บน OpenAI's Whisper large v3 ที่รันบน A10G การตั้งค่า max_batch_size ที่ 64 เพิ่มทรูพุตจาก ~1.2 เป็น ~3.3 คำขอต่อวินาทีต่อคอนเทนเนอร์ และลดต้นทุน inference ลง 65%
Charles Frye จาก Modal ได้ทำซ้ำข้ออ้างหลักของบทความ Large Language Monkeys บนชุดข้อมูลใหม่ แสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำช่วยยกระดับ LLaMA 3.1 8B จาก 66.4% pass@1 เป็น 90.5% pass@100 และ 95.1% pass@1000 บน HumanEval เทียบกับ GPT-4o ที่รายงานไว้ 90.2% pass@1 การรันใช้ vLLM บน Modal serverless GPUs และ Modal Sandboxes สำหรับการรันทดสอบแบบขนาน มีค่าใช้จ่ายต่ำกว่า $50 มาก และแสดงการขยายขนาดที่ราบรื่นและคาดเดาได้ในช่วงสามลำดับขนาด
ทำไมเรื่องนี้สำคัญ: การทำซ้ำด้วยตนเองแสดงให้เห็นว่าการสุ่มตัวอย่างซ้ำด้วยโมเดลเปิดขนาดเล็กสามารถเข้าใกล้ GPT-4o บน HumanEval ได้ โดยเสนอสูตรที่ konkret และต้นทุนต่ำในการแลกเปลี่ยนพลังประมวลผลกับความแม่นยำ
Cursor 发布了其最初“Problems”文章的后续内容，列出了它认为对 AI 编程下一阶段最关键的研究问题。该公司已将 Copilot++ 扩展至预测下一个光标位置，并将其与下一次编辑预测相结合，使模型能够“演奏”低熵变更序列——一个演示需要按 11 次 Tab 键，而其他每个键按 3 次，Cursor 称之为 Cursor Flow。其他方向包括跨代码库的动作预测、通过更多推理时计算实现完美编辑、幻觉伪代码、多文件编辑、最优上下文、多跳上下文以及缺陷检测与调试。
Cursor วัดการอนุมานของ Llama-2-70B บน GPU A100 ขนาด 80 GB จำนวน 2 ตัว และพบว่าถูกกว่า GPT-3.5 เกิน 3 เท่าสำหรับโทเค็นพรอมป์ต์ แต่แพงกว่ามากสำหรับโทเค็นที่สร้างขึ้นเมื่อขนาดแบตช์เล็ก การประมวลผลพรอมป์ต์มีต้นทุนประมาณ $0.00042 ต่อ 1K โทเค็น เทียบกับ $0.0015 ของ GPT-3.5 ขณะที่การสร้างโทเค็นมีต้นทุนถึง $0.066 ต่อ 1K โทเค็นที่ขนาดแบตช์ 1 และเข้าใกล้ราคาของ GPT-3.5 เฉพาะที่ขนาดแบตช์ใหญ่ซึ่งทำให้เวลาถึงโทเค็นแรกยาวนานหลายวินาที Cursor แนะนำให้ใช้โมเดลโอเพนซอร์สสำหรับงานที่เน้นพรอมป์ต์ เช่น การจำแนกประเภทและการจัดอันดับใหม่ และใช้ API แบบปิดสำหรับงานที่เน้นการสร้างข้อความ
ทำไมเรื่องนี้สำคัญ: ข้อมูลต้นทุนและความหน่วงที่วัดโดย Cursor แสดงให้เห็นว่าเมื่อใดที่การโฮสต์ Llama-2-70B ด้วยตนเองดีกว่า GPT-3.5 และเมื่อใดที่ไม่ดีกว่า ซึ่งเป็นกรอบการทำงานที่นำกลับมาใช้ซ้ำได้สำหรับการตัดสินใจให้บริการโมเดลโอเพนซอร์ส