Tới nội dung
Sự việc nóngĐang diễn ra

Baseten bổ sung tính năng tải công cụ trì hoãn cho các mô hình mở

1 bài viết1 nguồn đưa tinCập nhật 1 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Baseten đã bổ sung tính năng tải công cụ trì hoãn (deferred tool loading) cho các mô hình mở mà họ lưu trữ trên Baseten Model APIs — DeepSeek, Kimi và GLM — hỗ trợ cả định dạng Chat Completions và Messages API. Thay vì chèn toàn bộ schema công cụ vào system prompt, harness chỉ truyền tên công cụ cùng một công cụ tool_search (khoảng 1,3k token, so với khoảng 141k token cho ba máy chủ MCP) và chỉ hiển thị toàn bộ schema ngay trong ngữ cảnh khi cần, nhờ đó giữ cho tiền tố KV cache vẫn hợp lệ. Baseten báo cáo rằng trong Claude Code với ba MCP được bật (Slack, Notion, Baseten), các bài đánh giá lập trình chạy rẻ hơn 62,5% và nhanh hơn 26,2% tính trung bình; trên các bài đánh giá tác tử sử dụng công cụ đặt trước và MCP, các tác vụ rẻ hơn 51,1% và nhanh hơn 14,9%. Đây là các số đo của chính Baseten. Tính năng này hiện đã được cung cấp rộng rãi qua API cho các nhóm đang xây dựng harness quan tâm đến ngữ cảnh của riêng họ.

Tạo từ các bài viết · cập nhật 1 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

20 tháng 11
  1. Baseten BlogTuyển chọn
    Baseten mang tính năng tải công cụ trì hoãn đến các mô hình mở, giảm 62,5% chi phí cho coding agent

    Baseten đã bổ sung tính năng tải công cụ trì hoãn cho các mô hình mở (DeepSeek, Kimi, GLM) trên Baseten Model APIs, hỗ trợ cả định dạng Chat Completions và Messages API. Trong Claude Code với 3 MCP được bật, các bài benchmark lập trình chạy rẻ hơn 62,5% và nhanh hơn 26,2% tính trung bình, trong khi các bài benchmark agentic rẻ hơn 51,1% và nhanh hơn 14,9%. Thay vì chèn mọi schema công cụ vào system prompt, harness truyền tên công cụ cùng một công cụ tool_search (khoảng 1,3k token so với khoảng 141k token cho 3 máy chủ MCP) và chỉ hiển thị toàn bộ schema ngay trong ngữ cảnh khi cần, giữ cho tiền tố KV cache vẫn hợp lệ.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.