AWS mã nguồn mở khung đánh giá agent UAEF
Bắt đầu từ đây
AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework) theo giấy phép Apache 2.0 trong kho GitHub awslabs/uaef. Hệ thống không phụ thuộc framework này dùng adapter để chuẩn hóa dấu vết agent từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm bằng 36 chỉ số tích hợp sẵn trên 7 chiều. Chỉ chạy thư viện thì không tạo ra gì; khi lưu một lần chạy, hệ thống ghi siêu dữ liệu thử nghiệm vào Amazon DynamoDB và toàn bộ kết quả vào Amazon S3, cho phép các nhóm so sánh các phiên bản agent với đường cơ sở và đánh dấu hồi quy ở ngưỡng mặc định 5 phần trăm, kèm báo cáo thống kê và nhận định do LLM viết. AWS cho biết 12 tổ chức trong lĩnh vực viễn thông, y tế và dịch vụ tài chính đã dùng UAEF trước khi phát hành. Các bảng DynamoDB, bucket S3 và user pool Cognito được tạo với chính sách lưu giữ, nên khi xóa stack, chúng và nội dung bên trong vẫn được giữ nguyên.
Tạo từ các bài viết · cập nhật 21 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogTuyển chọnAWS mã nguồn mở UAEF, một hệ thống đánh giá độc lập với framework cho các tác nhân AI
AWS đã mã nguồn mở UAEF (Universal Agent Evaluation Framework), một hệ thống độc lập với framework sử dụng các adapter để chuẩn hóa dấu vết tác nhân từ LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore và Langfuse thành một AgentTrace chuẩn duy nhất, sau đó chấm điểm chúng bằng 36 chỉ số tích hợp trên 7 khía cạnh. Kết quả được lưu trữ theo từng thử nghiệm trong Amazon DynamoDB và Amazon S3, để các nhóm có thể so sánh các phiên bản tác nhân với một đường cơ sở, đánh dấu các hồi quy với ngưỡng mặc định 5 phần trăm, và tạo báo cáo thống kê cùng các thông tin chi tiết do LLM viết. Bài viết cho biết khách hàng trên 12 tổ chức trong lĩnh vực viễn thông, chăm sóc sức khỏe và dịch vụ tài chính đã sử dụng UAEF trước khi phát hành, và mã Apache 2.0, thư viện Python, triển khai CDK cùng các notebook theo từng framework nằm trong kho GitHub awslabs/uaef.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.