AWS Machine Learning Blog· Bharathi Srinivasan·· 3 วันที่แล้วคะแนน AI38
Amazon Bedrock AgentCore Evaluations: ตัวประเมินในตัว, DeepEval และ AutoEval
The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations
สรุปโดย AI
ขณะนี้ Amazon Bedrock AgentCore Evaluations ช่วยให้ทีมต่างๆ รันตัวประเมินในตัวของ AWS ควบคู่ไปกับเมตริก DeepEval และ AutoEval ที่ได้รับการจัดการ รวมถึงตัวประเมินแบบกำหนดเองที่ได้มาจากทั้งสองแบบ แคตตาล็อกในตัวครอบคลุมตัวประเมิน 15 ตัวในด้านคุณภาพการตอบสนอง ความสำเร็จของเป้าหมาย การใช้เครื่องมือ ทักษะ และความปลอดภัย พร้อมการตรวจสอบเส้นทางการทำงาน 3 รายการสำหรับเส้นทางเครื่องมือที่คาดหวัง DeepEval เพิ่มเมตริกแบบหลายรอบ เช่น ConversationCompleteness และ KnowledgeRetention ขณะที่ AutoEval มีส่วนช่วยในสัญญาณเฉพาะทางรวมถึงความปลอดภัย
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com