Tới nội dung
Hacker News · AI·· 1 giờ trướcĐiểm AI71

Kiln-AI phát hành Harness Tuner, vòng lặp tinh chỉnh dựa trên đánh giá cho công cụ, prompt và mô hình của agent

Show HN: Harness Tuner – eval-driven tuning loop for agent tools, prompts, model

Tóm tắt bằng AI

Kiln-AI đã phát hành Harness Tuner, một CLI mã nguồn mở giúp tinh chỉnh công cụ, prompt, kỹ năng, mô hình và cài đặt của agent dựa trên các đánh giá bạn đã có. Trên một agent đa lượt trong môi trường production với hơn 200 công cụ, nhóm báo cáo giảm 2,5 lần số lỗi, giảm 6 lần chi phí và giảm 2 lần độ trễ trên dữ liệu held-out với một mô hình nhỏ hơn. Công cụ chạy trên gói đăng ký Claude Code, Codex hoặc OpenCode, duy trì việc phân chia train, val và test được thực thi trong mã, và hoạt động với ứng dụng Kiln miễn phí để theo dõi thí nghiệm.

Nguồn:Hacker News · AI · github.com