Tới nội dung
Hacker News · AI·· 5 giờ trướcĐiểm AI60

Agentest ra mắt dưới dạng bộ kiểm thử ngoại tuyến chấm điểm các tác nhân AI từ dấu vết OpenTelemetry

Show HN: Agentest – offline tests for AI agents from OpenTelemetry traces

Tóm tắt bằng AI

Srinivas Padmanabhuni, CTO của AiEnsured, đã phát hành agentest, một công cụ mã nguồn mở đọc các dấu vết OpenTelemetry GenAI hiện có của một tác nhân và chạy 165 bài kiểm thử trên những gì tác nhân thực sự đã làm, chẳng hạn như tuyên bố thành công mà không đạt được, hành động trước khi xác minh, tuân theo một chỉ dẫn ẩn, gọi một công cụ bị cấm hoặc làm rò rỉ dữ liệu cá nhân. Công cụ chạy ngoại tuyến không cần API key, mạng hay LLM judge, nên cùng một dấu vết luôn cho ra cùng kết luận đạt, không đạt hoặc không áp dụng, và nó cung cấp các bộ nhập log gốc cho LangGraph, OpenAI Agents SDK, AutoGen, smolagents và n8n. Có thể cài đặt qua pip install agentest-ai (phiên bản 3.5.0), công cụ cung cấp cổng CI --strict với đầu ra JUnit, SARIF, JSON, HTML, Markdown và CSV, cùng báo cáo trên trình duyệt không cần cài đặt và bản demo Colab.

Nguồn:Hacker News · AI · github.com