Baseten bổ sung tính năng tải công cụ trì hoãn cho các mô hình mở
Bắt đầu từ đây
Baseten đã bổ sung tính năng tải công cụ trì hoãn (deferred tool loading) cho các mô hình mở mà họ lưu trữ trên Baseten Model APIs — DeepSeek, Kimi và GLM — hỗ trợ cả định dạng Chat Completions và Messages API. Thay vì chèn toàn bộ schema công cụ vào system prompt, harness chỉ truyền tên công cụ cùng một công cụ tool_search (khoảng 1,3k token, so với khoảng 141k token cho ba máy chủ MCP) và chỉ hiển thị toàn bộ schema ngay trong ngữ cảnh khi cần, nhờ đó giữ cho tiền tố KV cache vẫn hợp lệ. Baseten báo cáo rằng trong Claude Code với ba MCP được bật (Slack, Notion, Baseten), các bài đánh giá lập trình chạy rẻ hơn 62,5% và nhanh hơn 26,2% tính trung bình; trên các bài đánh giá tác tử sử dụng công cụ đặt trước và MCP, các tác vụ rẻ hơn 51,1% và nhanh hơn 14,9%. Đây là các số đo của chính Baseten. Tính năng này hiện đã được cung cấp rộng rãi qua API cho các nhóm đang xây dựng harness quan tâm đến ngữ cảnh của riêng họ.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Baseten BlogTuyển chọnBaseten mang tính năng tải công cụ trì hoãn đến các mô hình mở, giảm 62,5% chi phí cho coding agent
Baseten đã bổ sung tính năng tải công cụ trì hoãn cho các mô hình mở (DeepSeek, Kimi, GLM) trên Baseten Model APIs, hỗ trợ cả định dạng Chat Completions và Messages API. Trong Claude Code với 3 MCP được bật, các bài benchmark lập trình chạy rẻ hơn 62,5% và nhanh hơn 26,2% tính trung bình, trong khi các bài benchmark agentic rẻ hơn 51,1% và nhanh hơn 14,9%. Thay vì chèn mọi schema công cụ vào system prompt, harness truyền tên công cụ cùng một công cụ tool_search (khoảng 1,3k token so với khoảng 141k token cho 3 máy chủ MCP) và chỉ hiển thị toàn bộ schema ngay trong ngữ cảnh khi cần, giữ cho tiền tố KV cache vẫn hợp lệ.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.