Tới nội dung
Sự việc nóngĐang diễn ra

Agentest mã nguồn mở chấm điểm các tác nhân AI từ dấu vết OpenTelemetry theo cách ngoại tuyến

1 bài viết1 nguồn đưa tinCập nhật 5 giờ trước

Bắt đầu từ đây

Tóm tắt AI

CTO Srinivas Padmanabhuni của AiEnsured đã phát hành agentest, một công cụ mã nguồn mở đánh giá các tác nhân AI bằng cách đọc các dấu vết OpenTelemetry GenAI hiện có của chúng thay vì chạy lại chúng. Công cụ áp dụng 165 bài kiểm tra lên những gì tác nhân thực sự đã làm, gắn cờ các hành vi như tuyên bố thành công không xứng đáng, hành động trước khi xác minh, tuân theo một chỉ dẫn ẩn, gọi một công cụ bị cấm hoặc làm rò rỉ dữ liệu cá nhân. Theo thông cáo phát hành, công cụ chạy ngoại tuyến mà không cần khóa API, mạng hay giám khảo LLM, nên cùng một dấu vết luôn cho ra cùng các phán quyết đạt, không đạt hoặc không áp dụng. Nó hoạt động với bất kỳ framework nào ghi lại dấu vết OpenTelemetry GenAI và đi kèm các bộ nhập nhật ký gốc cho LangGraph, OpenAI Agents SDK, AutoGen, smolagents và n8n. Công cụ cài đặt qua pip install agentest-ai (phiên bản 3.5.0) và cung cấp cổng CI --strict với đầu ra JUnit, SARIF, JSON, HTML, Markdown và CSV. Một báo cáo trên trình duyệt và bản demo Colab cho phép sử dụng mà không cần cài đặt.

Tạo từ các bài viết · cập nhật 5 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

19 tháng 11
  1. Hacker News · AI
    Agentest ra mắt dưới dạng bộ kiểm thử ngoại tuyến chấm điểm các tác nhân AI từ dấu vết OpenTelemetry

    Srinivas Padmanabhuni, CTO của AiEnsured, đã phát hành agentest, một công cụ mã nguồn mở đọc các dấu vết OpenTelemetry GenAI hiện có của một tác nhân và chạy 165 bài kiểm thử trên những gì tác nhân thực sự đã làm, chẳng hạn như tuyên bố thành công mà không đạt được, hành động trước khi xác minh, tuân theo một chỉ dẫn ẩn, gọi một công cụ bị cấm hoặc làm rò rỉ dữ liệu cá nhân. Công cụ chạy ngoại tuyến không cần API key, mạng hay LLM judge, nên cùng một dấu vết luôn cho ra cùng kết luận đạt, không đạt hoặc không áp dụng, và nó cung cấp các bộ nhập log gốc cho LangGraph, OpenAI Agents SDK, AutoGen, smolagents và n8n. Có thể cài đặt qua pip install agentest-ai (phiên bản 3.5.0), công cụ cung cấp cổng CI --strict với đầu ra JUnit, SARIF, JSON, HTML, Markdown và CSV, cùng báo cáo trên trình duyệt không cần cài đặt và bản demo Colab.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
9
Đỉnh, trong khoảng so sánh được
1019 tháng 11 23:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.