deepsense.ai เผยแพร่เฟรมเวิร์กสำหรับการประเมินระบบเอเจนติก
เริ่มตรงนี้
deepsense.ai เผยแพร่เฟรมเวิร์กเชิงปฏิบัติสำหรับตัดสินใจว่าระบบเอเจนติกพร้อมส่งมอบหรือไม่ โดยสร้างบนสี่ชั้น ได้แก่ ชุดข้อมูล การตั้งค่าการทำงาน การตรวจสอบพฤติกรรม และเมตริก แนะนำให้เริ่มจากชุดประเมินขนาดเล็กที่เขียนด้วยมือ แล้วขยายด้วยเคสสังเคราะห์ที่ผ่านการตรวจทานและผู้ใช้จำลอง ทำเวอร์ชันของฮาร์เนสและสภาพแวดล้อม รันแต่ละเคส k ครั้ง และตั้งเกณฑ์ที่ pass^k แทน pass@k และตรวจสอบเส้นทางการทำงาน ทั้งการเลือกเครื่องมือ ลำดับ การจัดการความล้มเหลว ต้นทุน และเวลาแฝง แทนที่จะดูเพียงคำตอบสุดท้าย ในงานด้านเทคนิคสนับสนุนในห่วงโซ่อุปทาน บริษัทรายงานว่าชุดรีเกรสชันราวหนึ่งพันเคสที่ได้จากระบบจริงทำให้การรีแฟกเตอร์ครั้งใหญ่สามารถส่งมอบได้ในระดับประสิทธิภาพเดิมเมื่อการรีวิวโค้ดเสร็จสิ้น
สร้างจากรายงาน · อัปเดต 10 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIกรอบการประเมินระบบเอเจนติกของ deepsense.ai: ความน่าเชื่อถือ พฤติกรรม และความพร้อมก่อนปล่อย
deepsense.ai เผยแพร่กรอบการทำงานเชิงปฏิบัติสำหรับตัดสินว่าระบบเอเจนติกพร้อมปล่อยหรือไม่ โดยสร้างบนสี่ชั้น ได้แก่ ชุดข้อมูล การตั้งค่าการรัน การตรวจสอบพฤติกรรม และเมตริก แนะนำให้เริ่มจากชุดประเมินขนาดเล็กที่เขียนด้วยมือ ขยายด้วยเคสสังเคราะห์ที่ผ่านการตรวจทานและผู้ใช้จำลอง ทำเวอร์ชันของฮาร์เนสและสภาพแวดล้อม รันแต่ละเคส k ครั้ง และตั้งเกณฑ์ที่ pass^k แทน pass@k และตรวจสอบเส้นทางการทำงาน (การเลือกเครื่องมือ ลำดับ การจัดการความล้มเหลว ต้นทุน เวลาแฝง) ไม่ใช่แค่คำตอบสุดท้าย ในงานด้านการสนับสนุนทางเทคนิคในห่วงโซ่อุปทาน ชุดรีเกรสชันราวหนึ่งพันเคสที่ได้จากสภาพการใช้งานจริงทำให้การรีแฟกเตอร์ครั้งใหญ่สามารถปล่อยได้ในระดับประสิทธิภาพเดิมเมื่อการตรวจโค้ดเสร็จสิ้น
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม