Kiln-AI releases Harness Tuner for agent harness tuning
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Kiln-AI released Harness Tuner, an open-source CLI that tunes an agent's tools, prompts, skills, model and settings against existing evals. On one production multi-turn agent with over 200 tools, the team reports 2.5x fewer failures, 6x lower cost and 2x lower latency on held-out data using a smaller model. The tool runs on Claude Code, Codex or OpenCode subscriptions and keeps train, val and test splits enforced in code. It works with the free Kiln app for experiment tracking. Harness Tuner itself is free and open source but requires LLM API calls: users add an OpenRouter API key to Kiln, and a tuning run costs about $2.
สร้างจากรายงาน · อัปเดต 11 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIKiln-AI เปิดตัว Harness Tuner ลูปปรับแต่งที่ขับเคลื่อนด้วย eval สำหรับเครื่องมือ พรอมต์ และโมเดลของเอเจนต์
Kiln-AI เปิดตัว Harness Tuner ซึ่งเป็น CLI โอเพนซอร์สที่ปรับแต่งเครื่องมือ พรอมต์ สกิล โมเดล และการตั้งค่าของเอเจนต์โดยอิงกับ eval ที่มีอยู่แล้ว สำหรับเอเจนต์แบบหลายรอบในสภาพแวดล้อมจริงหนึ่งตัวที่มีเครื่องมือกว่า 200 รายการ ทีมรายงานว่าบนข้อมูล held-out ด้วยโมเดลที่เล็กกว่า พบความล้มเหลวลลดลง 2.5 เท่า ต้นทุนต่ำลง 6 เท่า และความหน่วงต่ำลง 2 เท่า ใช้งานได้กับการสมัครสมาชิก Claude Code, Codex หรือ OpenCode บังคับใช้การแบ่ง train, val และ test ในโค้ด และทำงานร่วมกับแอป Kiln ฟรีสำหรับการติดตามการทดลอง
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม