跳至正文
AWS Machine Learning Blog· Samaneh Aminikhanghahi·· 2 天前精選AI 評分60

AWS 開源 UAEF,一個與框架無關的 AI 代理評估系統

UAEF: A framework-agnostic system for closed-loop evaluation of AI agents

AI 導讀

AWS 已開源 UAEF(Universal Agent Evaluation Framework),這是一個與框架無關的系統,透過適配器將來自 LangGraph、LangChain、Strands Agents、Amazon Bedrock AgentCore 和 Langfuse 的代理軌跡正規化為統一的 AgentTrace,再以 7 個維度下的 36 項內建指標進行評分。結果按實驗分別儲存在 Amazon DynamoDB 和 Amazon S3 中,讓團隊可以將代理版本與基準進行比較,以預設 5% 的閾值標記回歸,並生成統計報告及 LLM 撰寫的洞察。文章指出,電信、醫療保健和金融服務領域 12 個組織的客戶在發布前使用了 UAEF,Apache 2.0 程式碼、Python 函式庫、CDK 部署及各框架的 notebook 均位於 awslabs/uaef GitHub 儲存庫中。

推薦理由

AWS 團隊開源 UAEF,用適配器把不同框架的 Agent 軌跡統一成一種格式,再以 36 項指標跨 7 個維度打分,為跨框架比較 Agent 版本提供了一套可復用的評測層。

來源:AWS Machine Learning Blog · aws.amazon.com