vLLM เพิ่มการรองรับ day-0 สำหรับ Inkling 2 Small ของ Thinking Machines
Inkling 2 Small on vLLM: Day-0 Support
vLLM รองรับ Inkling 2 Small ของ Thinking Machines ใน day 0 ซึ่งเป็น MoE แบบมัลติโหมดข้อความและภาพที่มีพารามิเตอร์รวม 594B และพารามิเตอร์ที่ใช้งาน 17B และมีบริบทสูงสุด 1M โทเค็น การผสานรวมนี้เพิ่ม kernel fusion กับ PDL, sequence parallelism สำหรับ prefill ที่ลดขั้นตอน prefill 8K โทเค็นลง 22% ที่ TP4 และ 26% ที่ TP8 และ Gluon relative attention decode kernel ที่ลดขั้นตอน decode แบบ batch-1 ที่บริบท 100K จาก 15.1 ms เหลือ 4.8 ms vLLM รายงานสูงสุด 630 TPS/user ที่ TP4 บน GB200 ด้วย acceptance length 3.5 และยังรองรับ LoRA และ RL ผ่าน SkyRL
vLLM รองรับ Inkling 2 Small ในวันเปิดตัวพร้อมให้ข้อมูลการปรับแต่งที่เฉพาะเจาะจงของ kernel fusion, sequence parallelism และ Gluon decode kernel ซึ่งเป็นประโยชน์ต่อทีมที่ปรับใช้โมเดล MoE ขนาดใหญ่
แหล่งข่าว:vLLM Blog · vllm.ai