AWS adds built-in, DeepEval and AutoEval evaluators to AgentCore
Nội dung này chưa có bằng ngôn ngữ của bạn; đang hiển thị bằng English.
Bắt đầu từ đây
AWS has expanded Amazon Bedrock AgentCore Evaluations so teams can run AWS built-in evaluators alongside managed DeepEval and AutoEval metrics, plus custom evaluators derived from either, and published a guide to using them. The built-in catalog covers 15 evaluators across response quality, goal completion, tool use, skills and safety, including three trajectory checks for expected tool paths. DeepEval adds multi-turn metrics such as ConversationCompleteness and KnowledgeRetention, while AutoEval contributes specialized signals including security.
Tạo từ các bài viết · cập nhật 19 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAmazon Bedrock AgentCore Evaluations: trình đánh giá tích hợp, DeepEval và AutoEval
Amazon Bedrock AgentCore Evaluations hiện cho phép các nhóm chạy các trình đánh giá tích hợp của AWS song song với các chỉ số DeepEval và AutoEval được quản lý, cùng các trình đánh giá tùy chỉnh bắt nguồn từ một trong hai. Danh mục tích hợp bao gồm 15 trình đánh giá trên chất lượng phản hồi, hoàn thành mục tiêu, sử dụng công cụ, kỹ năng và an toàn, với ba kiểm tra quỹ đạo cho các đường dẫn công cụ dự kiến. DeepEval bổ sung các chỉ số đa lượt như ConversationCompleteness và KnowledgeRetention, trong khi AutoEval đóng góp các tín hiệu chuyên biệt bao gồm bảo mật.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.