Kiln-AI ra mắt Harness Tuner để tinh chỉnh agent harness
Bắt đầu từ đây
Kiln-AI đã ra mắt Harness Tuner, một CLI mã nguồn mở giúp tinh chỉnh công cụ, prompt, kỹ năng, mô hình và cài đặt của agent dựa trên các eval sẵn có. Trên một agent đa lượt đang chạy production với hơn 200 công cụ, nhóm cho biết đã giảm 2,5 lần số lỗi, giảm 6 lần chi phí và giảm 2 lần độ trễ trên dữ liệu held-out khi dùng một mô hình nhỏ hơn. Công cụ này chạy trên các gói đăng ký Claude Code, Codex hoặc OpenCode và duy trì việc phân chia train, val, test được thực thi trong mã. Nó hoạt động với ứng dụng Kiln miễn phí để theo dõi thí nghiệm. Bản thân Harness Tuner là miễn phí và mã nguồn mở nhưng cần gọi API LLM: người dùng thêm khóa API OpenRouter vào Kiln, và một lần chạy tinh chỉnh tốn khoảng 2 USD.
Tạo từ các bài viết · cập nhật 13 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIKiln-AI phát hành Harness Tuner, vòng lặp tinh chỉnh dựa trên đánh giá cho công cụ, prompt và mô hình của agent
Kiln-AI đã phát hành Harness Tuner, một CLI mã nguồn mở giúp tinh chỉnh công cụ, prompt, kỹ năng, mô hình và cài đặt của agent dựa trên các đánh giá bạn đã có. Trên một agent đa lượt trong môi trường production với hơn 200 công cụ, nhóm báo cáo giảm 2,5 lần số lỗi, giảm 6 lần chi phí và giảm 2 lần độ trễ trên dữ liệu held-out với một mô hình nhỏ hơn. Công cụ chạy trên gói đăng ký Claude Code, Codex hoặc OpenCode, duy trì việc phân chia train, val và test được thực thi trong mã, và hoạt động với ứng dụng Kiln miễn phí để theo dõi thí nghiệm.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.