Eval-Driven Development คืออะไร? วิธีปรับปรุง AI Agents

LangChain อธิบาย eval-driven development (EDD) กระบวนการสามขั้นตอนสำหรับการสร้าง AI agents: กำหนดว่าอะไรคือสิ่งที่ดี เขียน eval ก่อนที่จะสร้าง และเปรียบเทียบผลลัพธ์หลังการเปลี่ยนแปลงแต่ละครั้ง เนื่องจาก agents ไม่สามารถกำหนดผลลัพธ์ได้แน่นอน evals จึงให้คะแนนการทำงานข้ามชุดข้อมูลตัวอย่าง และสามารถใช้ LLM-as-a-judge โดยมีการทำงานจริงของ agent ใน LangSmith เป็นแหล่งของอินพุตสำหรับการทดสอบ