Baseten mang tính năng tải công cụ trì hoãn đến các mô hình mở, giảm 62,5% chi phí cho coding agent
Deferred tool loading: Make your agent 62.5% cheaper without changing your model or harness
Baseten đã bổ sung tính năng tải công cụ trì hoãn cho các mô hình mở (DeepSeek, Kimi, GLM) trên Baseten Model APIs, hỗ trợ cả định dạng Chat Completions và Messages API. Trong Claude Code với 3 MCP được bật, các bài benchmark lập trình chạy rẻ hơn 62,5% và nhanh hơn 26,2% tính trung bình, trong khi các bài benchmark agentic rẻ hơn 51,1% và nhanh hơn 14,9%. Thay vì chèn mọi schema công cụ vào system prompt, harness truyền tên công cụ cùng một công cụ tool_search (khoảng 1,3k token so với khoảng 141k token cho 3 máy chủ MCP) và chỉ hiển thị toàn bộ schema ngay trong ngữ cảnh khi cần, giữ cho tiền tố KV cache vẫn hợp lệ.
Baseten bổ sung tính năng tải công cụ trì hoãn cho các mô hình mở, với các con số benchmark cho thấy phần lớn chi phí của một agent đến từ các schema công cụ được tải trước.
Nguồn:Baseten Blog · baseten.co