跳至正文
Baseten Blog·· 1 小時前精選AI 評分71

Baseten 為開源模型引入延遲工具載入,編碼代理成本降低 62.5%

Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness

AI 導讀

Baseten 在 Baseten Model APIs 上為開源模型(DeepSeek、Kimi、GLM)加入了延遲工具載入功能,同時支援 Chat Completions 與 Messages API 兩種格式。在啟用 3 個 MCP 的 Claude Code 中,編碼基準測試平均便宜 62.5%、快 26.2%,代理基準測試則便宜 51.1%、快 14.9%。此機制不再把每個工具的 schema 注入系統提示,而是由 harness 傳入工具名稱加上一個 tool_search 工具(約 1.3k tokens,相較 3 個 MCP 伺服器的約 141k tokens),僅在需要時才內聯渲染完整 schema,從而保持 KV 快取前綴有效。

推薦理由

Baseten 為開源模型加入了延遲工具載入,基準測試數字顯示代理成本中有多大一部分來自預先載入的工具 schema。

來源:Baseten Blog · baseten.co