AWS Machine Learning Blog· Bharathi Srinivasan·· 3 天前AI 评分38
Amazon Bedrock AgentCore Evaluations：内置、DeepEval 和 AutoEval 评估器
The agent evaluation playbook: Built-in, DeepEval, and AutoEval on Amazon Bedrock AgentCore Evaluations
AI 导读
Amazon Bedrock AgentCore Evaluations 现在让团队可以运行 AWS 内置评估器，同时支持托管的 DeepEval 和 AutoEval 指标，以及基于两者衍生的自定义评估器。内置目录涵盖响应质量、目标完成、工具使用、技能和安全性方面的 15 个评估器，并提供三项针对预期工具路径的轨迹检查。DeepEval 增加了 ConversationCompleteness 和 KnowledgeRetention 等多轮指标，而 AutoEval 则贡献了包括安全性在内的专业信号。
来源:AWS Machine Learning Blog · aws.amazon.com