Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนเวลาให้กับโมเดลเปิด
เริ่มตรงนี้
Baseten ได้เพิ่มการโหลดเครื่องมือแบบเลื่อนเวลา (deferred tool loading) ให้กับโมเดลเปิดที่ให้บริการผ่าน Baseten Model APIs ได้แก่ DeepSeek, Kimi และ GLM โดยรองรับทั้งรูปแบบ Chat Completions และ Messages API แทนที่จะฉีดสคีมาของเครื่องมือทั้งหมดเข้าไปใน system prompt ตัว harness จะส่งชื่อเครื่องมือพร้อมกับเครื่องมือ tool_search (ประมาณ 1.3k โทเคน เทียบกับประมาณ 141k โทเคนสำหรับ MCP สามเซิร์ฟเวอร์) และจะแสดงสคีมาแบบเต็มในบรรทัดเฉพาะเมื่อจำเป็น ซึ่งช่วยให้คำนำหน้า KV cache ยังคงใช้ได้ Baseten รายงานว่าใน Claude Code ที่เปิดใช้ MCP สามตัว (Slack, Notion, Baseten) การรัน benchmark ด้านการเขียนโค้ดมีต้นทุนถูกลง 62.5% และเร็วขึ้น 26.2% โดยเฉลี่ย ส่วน benchmark แบบ agentic ที่ใช้เครื่องมือและ MCP ที่ตั้งไว้ล่วงหน้า งานมีต้นทุนถูกลง 51.1% และเร็วขึ้น 14.9% ตัวเลขเหล่านี้เป็นการวัดของ Baseten เอง ความสามารถนี้พร้อมใช้งานทั่วไปผ่าน API สำหรับทีมที่สร้าง harness ของตนเองโดยคำนึงถึงบริบท
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Baseten BlogคัดสรรBaseten นำการโหลดเครื่องมือแบบเลื่อนออกไปมาใช้กับโมเดลเปิด ลดต้นทุนเอเจนต์เขียนโค้ดได้ 62.5%
Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนออกไปให้กับโมเดลเปิด (DeepSeek, Kimi, GLM) บน Baseten Model APIs โดยรองรับทั้งรูปแบบ Chat Completions และ Messages API ในการทดสอบกับ Claude Code ที่เปิดใช้ MCP 3 ตัว benchmark ด้านการเขียนโค้ดมีต้นทุนถูกลง 62.5% และเร็วขึ้น 26.2% โดยเฉลี่ย ขณะที่ benchmark เชิงเอเจนต์มีต้นทุนถูกลง 51.1% และเร็วขึ้น 14.9% แทนที่จะฉีด schema ของทุกเครื่องมือเข้าไปใน system prompt ตัว harness จะส่งชื่อเครื่องมือพร้อมเครื่องมือ tool_search (ประมาณ 1.3k โทเคน เทียบกับประมาณ 141k โทเคนสำหรับ MCP 3 เซิร์ฟเวอร์) และแสดง schema แบบเต็มในบรรทัดเฉพาะเมื่อจำเป็น ทำให้คำนำหน้า KV cache ยังคงใช้ได้
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม