ข้ามไปที่เนื้อหา
Baseten Blog·· 1 ชม. ที่แล้วคัดสรรคะแนน AI71

Baseten นำการโหลดเครื่องมือแบบเลื่อนออกไปมาใช้กับโมเดลเปิด ลดต้นทุนเอเจนต์เขียนโค้ดได้ 62.5%

Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness

สรุปโดย AI

Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนออกไปให้กับโมเดลเปิด (DeepSeek, Kimi, GLM) บน Baseten Model APIs โดยรองรับทั้งรูปแบบ Chat Completions และ Messages API ในการทดสอบกับ Claude Code ที่เปิดใช้ MCP 3 ตัว benchmark ด้านการเขียนโค้ดมีต้นทุนถูกลง 62.5% และเร็วขึ้น 26.2% โดยเฉลี่ย ขณะที่ benchmark เชิงเอเจนต์มีต้นทุนถูกลง 51.1% และเร็วขึ้น 14.9% แทนที่จะฉีด schema ของทุกเครื่องมือเข้าไปใน system prompt ตัว harness จะส่งชื่อเครื่องมือพร้อมเครื่องมือ tool_search (ประมาณ 1.3k โทเคน เทียบกับประมาณ 141k โทเคนสำหรับ MCP 3 เซิร์ฟเวอร์) และแสดง schema แบบเต็มในบรรทัดเฉพาะเมื่อจำเป็น ทำให้คำนำหน้า KV cache ยังคงใช้ได้

ทำไมเรื่องนี้สำคัญ

Baseten เพิ่มการโหลดเครื่องมือแบบเลื่อนออกไปสำหรับโมเดลเปิด โดยตัวเลข benchmark แสดงให้เห็นว่าต้นทุนของเอเจนต์ส่วนใหญ่มาจาก schema ของเครื่องมือที่โหลดไว้ล่วงหน้า

แหล่งข่าว:Baseten Blog · baseten.co