โมเดลมัลติโมดัล Inkling ของ Thinking Machines พร้อมใช้งานแล้วบน Modal
Thinking Machines เปิดตัว Inkling โมเดลมัลติโมดัลอเนกประสงค์ที่รับอินพุตข้อความ รูปภาพ และเสียง แล้วส่งออกเป็นข้อความ โดย Modal ให้บริการตั้งแต่วันแรกในรูปแบบ Managed Endpoint ที่คิดราคาตามโทเคน Inkling เป็นทรานส์ฟอร์เมอร์แบบ mixture-of-experts ที่มีพารามิเตอร์รวม 975B เปิดใช้งาน 41B หน้าต่างบริบท 1M โทเคน พร้อมเสียงและภาพในตัว ใช้เลเยอร์ attention แบบ sliding-window ห้าเลเยอร์ต่อเลเยอร์ full-attention หนึ่งเลเยอร์ บนงานเอเจนต์กับ B200 8 ตัว speculator DFlash แบบกำหนดเองของ Modal ทำความเร็วได้ถึง 250 โทเคนต่อวินาทีต่อผู้ใช้ที่ปริมาณงาน 2.5M TPM ต่อ GPU ซึ่งโต้ตอบได้เร็วขึ้น 67% เมื่อเทียบกับเส้นทาง speculative ที่มีมาในโมเดลที่ปริมาณงานเท่ากัน
ทำไมเรื่องนี้สำคัญ: endpoint วันแรกของ Modal สำหรับ Inkling ขนาด 975B พารามิเตอร์ของ Thinking Machines แสดงให้เห็นว่า speculator DFlash แบบกำหนดเองช่วยยกระดับการโต้ตอบได้ 67% เหนือเส้นทาง speculative ที่มีมาในโมเดล