ข้ามไปที่เนื้อหา
Hacker News · AI·· 28 นาทีที่แล้วคะแนน AI58

กรอบการประเมินระบบเอเจนติกของ deepsense.ai: ความน่าเชื่อถือ พฤติกรรม และความพร้อมก่อนปล่อย

Framework for evaluating agentic systems: reliability, behavior, and readiness

สรุปโดย AI

deepsense.ai เผยแพร่กรอบการทำงานเชิงปฏิบัติสำหรับตัดสินว่าระบบเอเจนติกพร้อมปล่อยหรือไม่ โดยสร้างบนสี่ชั้น ได้แก่ ชุดข้อมูล การตั้งค่าการรัน การตรวจสอบพฤติกรรม และเมตริก แนะนำให้เริ่มจากชุดประเมินขนาดเล็กที่เขียนด้วยมือ ขยายด้วยเคสสังเคราะห์ที่ผ่านการตรวจทานและผู้ใช้จำลอง ทำเวอร์ชันของฮาร์เนสและสภาพแวดล้อม รันแต่ละเคส k ครั้ง และตั้งเกณฑ์ที่ pass^k แทน pass@k และตรวจสอบเส้นทางการทำงาน (การเลือกเครื่องมือ ลำดับ การจัดการความล้มเหลว ต้นทุน เวลาแฝง) ไม่ใช่แค่คำตอบสุดท้าย ในงานด้านการสนับสนุนทางเทคนิคในห่วงโซ่อุปทาน ชุดรีเกรสชันราวหนึ่งพันเคสที่ได้จากสภาพการใช้งานจริงทำให้การรีแฟกเตอร์ครั้งใหญ่สามารถปล่อยได้ในระดับประสิทธิภาพเดิมเมื่อการตรวจโค้ดเสร็จสิ้น

แหล่งข่าว:Hacker News · AI · deepsense.ai