Baseten Blog·· 1 小時前精選AI 評分71
Baseten 為開源模型引入延遲工具載入,編碼代理成本降低 62.5%
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness
AI 導讀
Baseten 在 Baseten Model APIs 上為開源模型(DeepSeek、Kimi、GLM)加入了延遲工具載入功能,同時支援 Chat Completions 與 Messages API 兩種格式。在啟用 3 個 MCP 的 Claude Code 中,編碼基準測試平均便宜 62.5%、快 26.2%,代理基準測試則便宜 51.1%、快 14.9%。此機制不再把每個工具的 schema 注入系統提示,而是由 harness 傳入工具名稱加上一個 tool_search 工具(約 1.3k tokens,相較 3 個 MCP 伺服器的約 141k tokens),僅在需要時才內聯渲染完整 schema,從而保持 KV 快取前綴有效。
推薦理由
Baseten 為開源模型加入了延遲工具載入,基準測試數字顯示代理成本中有多大一部分來自預先載入的工具 schema。
來源:Baseten Blog · baseten.co