跳至正文
熱點事件持續更新

Baseten 為開放模型加入延遲工具載入功能

1 篇報導1 個報導來源1 小時前更新

先了解這件事

AI 綜述

Baseten 為其在 Baseten Model APIs 上託管的開放模型——DeepSeek、Kimi 與 GLM——加入了延遲工具載入功能,同時支援 Chat Completions 與 Messages API 兩種格式。有別於將每個工具的 schema 全部注入系統提示,harness 改為傳入工具名稱加上一個 tool_search 工具(約 1.3k tokens,相較之下三個 MCP 伺服器約需 141k tokens),並僅在需要時才將完整 schema 內聯呈現,藉此讓 KV 快取前綴保持有效。 Baseten 表示,在啟用三個 MCP(Slack、Notion、Baseten)的 Claude Code 中,程式碼基準測試平均便宜 62.5%、快 26.2%;在使用預設工具與 MCP 的代理式基準測試中,任務成本降低 51.1%、速度提升 14.9%。這些數字為 Baseten 自行測量所得。 對於自行建構注重上下文之 harness 的團隊,此能力已可透過 API 正式使用。

AI 依報導生成 · 1 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月20日
  1. Baseten Blog精選
    Baseten 為開源模型引入延遲工具載入,編碼代理成本降低 62.5%

    Baseten 在 Baseten Model APIs 上為開源模型(DeepSeek、Kimi、GLM)加入了延遲工具載入功能,同時支援 Chat Completions 與 Messages API 兩種格式。在啟用 3 個 MCP 的 Claude Code 中,編碼基準測試平均便宜 62.5%、快 26.2%,代理基準測試則便宜 51.1%、快 14.9%。此機制不再把每個工具的 schema 注入系統提示,而是由 harness 傳入工具名稱加上一個 tool_search 工具(約 1.3k tokens,相較 3 個 MCP 伺服器的約 141k tokens),僅在需要時才內聯渲染完整 schema,從而保持 KV 快取前綴有效。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。