ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

deepsense.ai เผยแพร่เฟรมเวิร์กสำหรับการประเมินระบบเอเจนติก

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 20 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

deepsense.ai เผยแพร่เฟรมเวิร์กเชิงปฏิบัติสำหรับตัดสินใจว่าระบบเอเจนติกพร้อมส่งมอบหรือไม่ โดยสร้างบนสี่ชั้น ได้แก่ ชุดข้อมูล การตั้งค่าการทำงาน การตรวจสอบพฤติกรรม และเมตริก แนะนำให้เริ่มจากชุดประเมินขนาดเล็กที่เขียนด้วยมือ แล้วขยายด้วยเคสสังเคราะห์ที่ผ่านการตรวจทานและผู้ใช้จำลอง ทำเวอร์ชันของฮาร์เนสและสภาพแวดล้อม รันแต่ละเคส k ครั้ง และตั้งเกณฑ์ที่ pass^k แทน pass@k และตรวจสอบเส้นทางการทำงาน ทั้งการเลือกเครื่องมือ ลำดับ การจัดการความล้มเหลว ต้นทุน และเวลาแฝง แทนที่จะดูเพียงคำตอบสุดท้าย ในงานด้านเทคนิคสนับสนุนในห่วงโซ่อุปทาน บริษัทรายงานว่าชุดรีเกรสชันราวหนึ่งพันเคสที่ได้จากระบบจริงทำให้การรีแฟกเตอร์ครั้งใหญ่สามารถส่งมอบได้ในระดับประสิทธิภาพเดิมเมื่อการรีวิวโค้ดเสร็จสิ้น

สร้างจากรายงาน · อัปเดต 10 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. Hacker News · AI
    กรอบการประเมินระบบเอเจนติกของ deepsense.ai: ความน่าเชื่อถือ พฤติกรรม และความพร้อมก่อนปล่อย

    deepsense.ai เผยแพร่กรอบการทำงานเชิงปฏิบัติสำหรับตัดสินว่าระบบเอเจนติกพร้อมปล่อยหรือไม่ โดยสร้างบนสี่ชั้น ได้แก่ ชุดข้อมูล การตั้งค่าการรัน การตรวจสอบพฤติกรรม และเมตริก แนะนำให้เริ่มจากชุดประเมินขนาดเล็กที่เขียนด้วยมือ ขยายด้วยเคสสังเคราะห์ที่ผ่านการตรวจทานและผู้ใช้จำลอง ทำเวอร์ชันของฮาร์เนสและสภาพแวดล้อม รันแต่ละเคส k ครั้ง และตั้งเกณฑ์ที่ pass^k แทน pass@k และตรวจสอบเส้นทางการทำงาน (การเลือกเครื่องมือ ลำดับ การจัดการความล้มเหลว ต้นทุน เวลาแฝง) ไม่ใช่แค่คำตอบสุดท้าย ในงานด้านการสนับสนุนทางเทคนิคในห่วงโซ่อุปทาน ชุดรีเกรสชันราวหนึ่งพันเคสที่ได้จากสภาพการใช้งานจริงทำให้การรีแฟกเตอร์ครั้งใหญ่สามารถปล่อยได้ในระดับประสิทธิภาพเดิมเมื่อการตรวจโค้ดเสร็จสิ้น

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม