Tới nội dung
Sự việc nóngĐang diễn ra

deepsense.ai công bố khung đánh giá các hệ thống agentic

1 bài viết1 nguồn đưa tinCập nhật 20 phút trước

Bắt đầu từ đây

Tóm tắt AI

deepsense.ai đã công bố một khung thực tiễn để quyết định liệu một hệ thống agentic đã sẵn sàng phát hành hay chưa, được xây dựng trên bốn lớp: tập dữ liệu, thiết lập thực thi, xác minh hành vi và chỉ số đo lường. Khung này khuyến nghị bắt đầu với một tập đánh giá nhỏ do con người biên soạn, được mở rộng bằng các ca tổng hợp đã qua rà soát và người dùng mô phỏng, quản lý phiên bản cho harness và môi trường, chạy mỗi ca k lần và đặt điều kiện chặn theo pass^k thay vì pass@k, đồng thời kiểm tra quỹ đạo — lựa chọn công cụ, thứ tự, xử lý lỗi, chi phí và độ trễ — thay vì chỉ xem câu trả lời cuối cùng. Trong một dự án hỗ trợ kỹ thuật chuỗi cung ứng, công ty báo cáo rằng một tập hồi quy gồm khoảng một nghìn ca bắt nguồn từ môi trường sản xuất đã cho phép một đợt tái cấu trúc lớn được phát hành ở cùng mức hiệu năng sau khi hoàn tất đánh giá mã nguồn.

Tạo từ các bài viết · cập nhật 10 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hacker News · AI
    Khung đánh giá của deepsense.ai cho các hệ thống agentic: độ tin cậy, hành vi và mức độ sẵn sàng phát hành

    deepsense.ai đã công bố một khung thực tiễn để quyết định liệu một hệ thống agentic đã sẵn sàng phát hành hay chưa, được xây dựng trên bốn lớp: tập dữ liệu, thiết lập thực thi, xác minh hành vi và chỉ số đo lường. Khung này khuyến nghị bắt đầu với một tập đánh giá nhỏ do con người biên soạn, mở rộng bằng các ca tổng hợp đã được rà soát và người dùng mô phỏng, quản lý phiên bản cho harness và môi trường, chạy mỗi ca k lần và đặt điều kiện chặn dựa trên pass^k thay vì pass@k, đồng thời kiểm tra quỹ đạo (lựa chọn công cụ, thứ tự, xử lý lỗi, chi phí, độ trễ) thay vì chỉ xem câu trả lời cuối cùng. Trong một dự án hỗ trợ kỹ thuật chuỗi cung ứng, một tập hồi quy khoảng một nghìn ca bắt nguồn từ môi trường sản xuất đã cho phép một đợt tái cấu trúc lớn được phát hành ở cùng mức hiệu năng sau khi hoàn tất việc đánh giá mã nguồn.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.