跳到正文
热点事件持续更新

Baseten 为开放模型加入延迟工具加载

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

Baseten 已为其在 Baseten Model APIs 上托管的开放模型——DeepSeek、Kimi 和 GLM——加入延迟工具加载,同时支持 Chat Completions 和 Messages API 两种格式。该机制不再把每个工具的 schema 都注入系统提示,而是由 harness 传入工具名称外加一个 tool_search 工具(约 1.3k token,而三个 MCP 服务器约为 141k token),仅在需要时才内联渲染完整 schema,从而保持 KV 缓存前缀有效。 Baseten 报告称,在启用三个 MCP(Slack、Notion、Baseten)的 Claude Code 中,编码基准测试平均便宜 62.5%、快 26.2%;在使用预设工具和 MCP 的 agentic 基准测试中,任务成本降低 51.1%、速度提升 14.9%。这些数字来自 Baseten 自身的测量。 该能力已通过 API 全面开放,供构建自有上下文感知 harness 的团队使用。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月20日
  1. Baseten Blog精选
    Baseten 为开放模型引入延迟工具加载,编码智能体成本降低 62.5%

    Baseten 在 Baseten Model APIs 上为开放模型(DeepSeek、Kimi、GLM)加入了延迟工具加载,同时支持 Chat Completions 和 Messages API 两种格式。在启用 3 个 MCP 的 Claude Code 中,编码基准测试平均成本降低 62.5%、速度提升 26.2%,智能体基准测试成本降低 51.1%、速度提升 14.9%。该方案不再把每个工具的 schema 都注入系统提示,而是由 harness 传入工具名称外加一个 tool_search 工具(约 1.3k token,而 3 个 MCP 服务器约需 141k token),仅在需要时才内联渲染完整 schema,从而保持 KV 缓存前缀有效。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。