OpenRouter เผยแพร่คู่มือสำหรับการ benchmark LLMs ด้วยอินพุตของแอปพลิเคชันของคุณเอง ให้คะแนนเอาต์พุตด้วยโค้ด และเปรียบเทียบความแม่นยำ ค่าใช้จ่ายที่เรียกเก็บ และเวลาที่ใช้ในการร้องขอ บนงานสังเคราะห์ 60 งาน GPT-6.1 Sol ผ่าน 180/180 ครั้งจากการทำซ้ำสามรอบ ขณะที่ DeepSeek มีค่าใช้จ่ายในการตอบสนองต่ำที่สุดที่ 180 ครั้งผ่าน 157 ครั้ง ความสอดคล้องกับอันดับสาธารณะอยู่ในระดับต่ำ โดยมีสหสัมพันธ์สเปียร์แมนที่ 0.109
vLLM รายงานการให้บริการ DeepSeek-V4.1-Flash บนตู้แร็ค NVIDIA Vera Rubin NVL72 เพียงตู้เดียวที่ 1.7M โทเคน/วินาที ต่อ GPU และ 387 โทเคน/วินาที ต่อผู้ใช้ คิดเป็น 58 เท่าของ GB300 NVL72 โดยพุ่งสูงสุดที่ 2.52M โทเคน/วินาที และ 1,810 โทเคน/วินาทีสำหรับผู้ใช้รายเดียว ผลตอบแทนเหล่านี้มาจากเคอร์เนลที่สร้างใหม่สำหรับโดเมนหน่วยความจำแยกส่วนและเทนเซอร์คอร์ FP4 ของ Rubin เส้นทางการถอดรหัส TP8 เฉพาะทาง และพูล KV และ Engram ทั่วทั้งแร็คที่แชร์ผ่าน NVLink ด้วยการรวมคำนำหน้า (prefix) ทั่วทั้งแร็คและการกำหนดเส้นทางตามภาระงานของ Dynamo อัตราการเข้าถึงคำนำหน้าจึงคงอยู่ที่ 96.5-97% แม้ในสภาวะที่มีการทำงานพร้อมกันสูง
ทำไมเรื่องนี้สำคัญ: โพสต์ที่สามของ vLLM เกี่ยวกับ DeepSeek-V4.1-Flash อธิบายรายละเอียดว่าเคอร์เนลเฉพาะสำหรับ Rubin และการรวมหน่วยความจำทั่วทั้งแร็คช่วยเพิ่มปริมาณงาน吞吐ได้ 58 เท่าเมื่อเทียบกับ GB300 NVL72 ซึ่งเป็นข้อมูลอ้างอิงที่เป็นรูปธรรมสำหรับการปรับแต่งการให้บริการในระดับขนาดใหญ่
บทความ REINFORCE Zero ของ NVIDIA Research และ Inferact แสดงให้เห็นว่าการจัดแนวเคอร์เนลของ rollout และ trainer ทำให้ unclipped token-level importance sampling สามารถแก้ไข weight lag ที่เหลืออยู่ได้ ทำให้ฝึกได้อย่างเสถียรถึง 20,000 อัปเดตที่ policy lag 64 และได้ throughput ของ training-step เป็น 2.40 เท่าของการฝึกแบบ synchronous ด้วยเคอร์เนลที่จัดแนวแล้ว ด้วยเคอร์เนลมาตรฐาน ค่ามัธยฐาน rollout-to-learner KL เพิ่มขึ้น 83.33 เท่าตลอดการรัน และ online AIME24 pass@1 ลดลงจาก 34.27% เหลือ 13.96% ขณะที่ sequence gate ช่วยให้การฝึกเสถียรแต่ปฏิเสธ 24.48% ของ sequence ภายใน 1,000 อัปเดตสุดท้าย การตั้งค่า zero-mismatch ครอบคลุม DeepSeek-V4.1-Flash, Kimi K3.1 ในวันเปิดตัว และ DeepSeek-V4-Flash กับ Kimi K3.1 บน AMD MI355X โดยมีโค้ดอยู่ที่ Inferact/zero-mismatch-rl และ NVIDIA-NeMo/labs-molt
ทำไมเรื่องนี้สำคัญ: NVIDIA Research และ Inferact แยกช่องว่างระหว่าง rollout-learner ของ async RL ออกเป็น weight lag และ kernel mismatch โดยแสดงให้เห็นว่าการจัดแนวเคอร์เนลทำให้ unclipped importance sampling รักษาการฝึกที่เสถียรที่ policy lag 64 ได้