AWS adds built-in, DeepEval and AutoEval evaluators to AgentCore
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
AWS has expanded Amazon Bedrock AgentCore Evaluations so teams can run AWS built-in evaluators alongside managed DeepEval and AutoEval metrics, plus custom evaluators derived from either, and published a guide to using them. The built-in catalog covers 15 evaluators across response quality, goal completion, tool use, skills and safety, including three trajectory checks for expected tool paths. DeepEval adds multi-turn metrics such as ConversationCompleteness and KnowledgeRetention, while AutoEval contributes specialized signals including security.
สร้างจากรายงาน · อัปเดต 19 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAmazon Bedrock AgentCore Evaluations: ตัวประเมินในตัว, DeepEval และ AutoEval
ขณะนี้ Amazon Bedrock AgentCore Evaluations ช่วยให้ทีมต่างๆ รันตัวประเมินในตัวของ AWS ควบคู่ไปกับเมตริก DeepEval และ AutoEval ที่ได้รับการจัดการ รวมถึงตัวประเมินแบบกำหนดเองที่ได้มาจากทั้งสองแบบ แคตตาล็อกในตัวครอบคลุมตัวประเมิน 15 ตัวในด้านคุณภาพการตอบสนอง ความสำเร็จของเป้าหมาย การใช้เครื่องมือ ทักษะ และความปลอดภัย พร้อมการตรวจสอบเส้นทางการทำงาน 3 รายการสำหรับเส้นทางเครื่องมือที่คาดหวัง DeepEval เพิ่มเมตริกแบบหลายรอบ เช่น ConversationCompleteness และ KnowledgeRetention ขณะที่ AutoEval มีส่วนช่วยในสัญญาณเฉพาะทางรวมถึงความปลอดภัย
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม