Kimi K3 ของ Moonshot เปิดให้ใช้งานบน Modal แล้ว พร้อมรองรับ vLLM ตั้งแต่วันแรก
Modal เปิดให้ Kimi K3 ของ Moonshot ใช้งานได้บนแพลตฟอร์มของตนในวันเปิดตัว โดยเสนอโมเดลมัลติโหมดัลขนาด 2.8 ล้านล้านพารามิเตอร์ที่มีหน้าต่างบริบท 1M โทเคน ผ่าน Shared API ที่คิดราคาตามโทเคนและ Auto Endpoints แบบเฉพาะ Modal ระบุว่า DFlash speculator แบบกำหนดเองที่ปรับให้เข้ากับสถาปัตยกรรมของ K3 ช่วยเพิ่มความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที และปริมาณงานจาก 800k เป็น 1.5 ล้าน TPM ต่อ GPU ในงานเอเจนติก โมเดลนี้ใช้การออกแบบ mixture-of-experts โดยมี 16 จาก 896 experts ทำงานต่อโทเคน และ Moonshot ได้ร่วมพัฒนา prefix-caching รูปแบบใหม่ให้กับ vLLM ก่อนการเปิดตัว
ทำไมเรื่องนี้สำคัญ: Modal อธิบายรายละเอียดว่าตนนำ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์ของ Moonshot ขึ้นแพลตฟอร์มในวันเปิดตัวได้อย่างไร รวมถึง DFlash speculator แบบกำหนดเองที่ยกระดับความโต้ตอบจาก 100 เป็น 460 โทเคนต่อวินาที