Tới nội dung
Hacker News · AI·· 28 phút trướcĐiểm AI58

Khung đánh giá của deepsense.ai cho các hệ thống agentic: độ tin cậy, hành vi và mức độ sẵn sàng phát hành

Framework for evaluating agentic systems: reliability, behavior, and readiness

Tóm tắt bằng AI

deepsense.ai đã công bố một khung thực tiễn để quyết định liệu một hệ thống agentic đã sẵn sàng phát hành hay chưa, được xây dựng trên bốn lớp: tập dữ liệu, thiết lập thực thi, xác minh hành vi và chỉ số đo lường. Khung này khuyến nghị bắt đầu với một tập đánh giá nhỏ do con người biên soạn, mở rộng bằng các ca tổng hợp đã được rà soát và người dùng mô phỏng, quản lý phiên bản cho harness và môi trường, chạy mỗi ca k lần và đặt điều kiện chặn dựa trên pass^k thay vì pass@k, đồng thời kiểm tra quỹ đạo (lựa chọn công cụ, thứ tự, xử lý lỗi, chi phí, độ trễ) thay vì chỉ xem câu trả lời cuối cùng. Trong một dự án hỗ trợ kỹ thuật chuỗi cung ứng, một tập hồi quy khoảng một nghìn ca bắt nguồn từ môi trường sản xuất đã cho phép một đợt tái cấu trúc lớn được phát hành ở cùng mức hiệu năng sau khi hoàn tất việc đánh giá mã nguồn.

Nguồn:Hacker News · AI · deepsense.ai