Baseten นำการโหลดเครื่องมือแบบเลื่อนออกไปมาใช้กับโมเดลเปิด ลดต้นทุนเอเจนต์เขียนโค้ดได้ 62.5%
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness
Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนออกไปให้กับโมเดลเปิด (DeepSeek, Kimi, GLM) บน Baseten Model APIs โดยรองรับทั้งรูปแบบ Chat Completions และ Messages API ในการทดสอบกับ Claude Code ที่เปิดใช้ MCP 3 ตัว benchmark ด้านการเขียนโค้ดมีต้นทุนถูกลง 62.5% และเร็วขึ้น 26.2% โดยเฉลี่ย ขณะที่ benchmark เชิงเอเจนต์มีต้นทุนถูกลง 51.1% และเร็วขึ้น 14.9% แทนที่จะฉีด schema ของทุกเครื่องมือเข้าไปใน system prompt ตัว harness จะส่งชื่อเครื่องมือพร้อมเครื่องมือ tool_search (ประมาณ 1.3k โทเคน เทียบกับประมาณ 141k โทเคนสำหรับ MCP 3 เซิร์ฟเวอร์) และแสดง schema แบบเต็มในบรรทัดเฉพาะเมื่อจำเป็น ทำให้คำนำหน้า KV cache ยังคงใช้ได้
Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนออกไปสำหรับโมเดลเปิด โดยตัวเลข benchmark แสดงให้เห็นว่าต้นทุนของเอเจนต์ส่วนใหญ่มาจาก schema ของเครื่องมือที่โหลดไว้ล่วงหน้า
แหล่งข่าว:Baseten Blog · baseten.co