Tới nội dung
Sự việc nóngĐang diễn ra

Attest 1.1.0 phát hành để kiểm thử các tác nhân AI

1 bài viết1 nguồn đưa tinCập nhật 14 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Attest đã phát hành phiên bản 1.1.0, một framework kiểm thử cho các tác nhân AI bằng Python và TypeScript, có chức năng kiểm tra phản hồi, chuỗi gọi công cụ và các thay đổi trạng thái bên ngoài thông qua pytest hoặc Vitest. Nó sử dụng quy trình ghi lại, phát lại nghiêm ngặt và cổng kiểm soát: phát lại nghiêm ngặt chạy mã thực của tác nhân đối chiếu với các phản hồi mô hình đã ghi lại thông qua một proxy cục bộ, không có lệnh gọi mô hình trực tiếp nào cho các yêu cầu khớp. Các kiểm tra được chia thành sáu lớp, từ kiểm tra lược đồ, ràng buộc, dấu vết và nội dung miễn phí đến độ tương đồng embedding và LLM-as-judge, vốn phụ thuộc vào nhà cung cấp trả phí hoặc cục bộ. OpenAI embeddings và các giám khảo OpenAI, Anthropic và Gemini là trả phí, trong khi mô hình ONNX cục bộ, tác nhân ACP cục bộ hoặc điểm cuối cục bộ tương thích OpenAI thì không. Attest khuyên nên bắt đầu với các kiểm tra tất định và chỉ thêm giám khảo mô hình cho các tiêu chí mà những kiểm tra đó không thể diễn đạt.

Tạo từ các bài viết · cập nhật 14 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. Hacker News · AI
    Attest 1.1.0 ra mắt dưới dạng framework kiểm thử Python và TypeScript cho hành vi của AI agent

    Attest 1.1.0 là một framework kiểm thử dành cho AI agent bằng Python và TypeScript, kiểm tra các câu trả lời, chuỗi gọi công cụ và thay đổi trạng thái bên ngoài thông qua pytest hoặc Vitest. Nó tuân theo quy trình ghi lại, phát lại nghiêm ngặt và cổng kiểm soát, trong đó phát lại chạy mã thực của agent dựa trên các phản hồi mô hình đã ghi lại mà không gọi mô hình trực tiếp cho các yêu cầu khớp. Các kiểm tra được chia thành sáu lớp, từ kiểm tra lược đồ, ràng buộc, dấu vết và nội dung miễn phí đến độ tương đồng embedding và LLM-as-judge, vốn phụ thuộc vào nhà cung cấp trả phí hoặc cục bộ.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
7
Đỉnh, trong khoảng so sánh được
1016 tháng 11 03:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.