Baseten Blog·· 1 小时前精选AI 评分71
Baseten 为开放模型引入延迟工具加载,编码智能体成本降低 62.5%
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness
AI 导读
Baseten 在 Baseten Model APIs 上为开放模型(DeepSeek、Kimi、GLM)加入了延迟工具加载,同时支持 Chat Completions 和 Messages API 两种格式。在启用 3 个 MCP 的 Claude Code 中,编码基准测试平均成本降低 62.5%、速度提升 26.2%,智能体基准测试成本降低 51.1%、速度提升 14.9%。该方案不再把每个工具的 schema 都注入系统提示,而是由 harness 传入工具名称外加一个 tool_search 工具(约 1.3k token,而 3 个 MCP 服务器约需 141k token),仅在需要时才内联渲染完整 schema,从而保持 KV 缓存前缀有效。
推荐理由
Baseten 为开放模型加入了延迟工具加载,基准数据表明智能体的成本中有多大一部分来自预加载的工具 schema。
来源:Baseten Blog · baseten.co