Hacker News · AI·· 5 小时前AI 评分60
Agentest 发布:一款离线测试套件,可从 OpenTelemetry 追踪数据中为 AI 智能体评分
Show HN: Agentest – offline tests for AI agents from OpenTelemetry traces
AI 导读
AiEnsured 首席技术官 Srinivas Padmanabhuni 发布了 agentest,这是一款开源工具,可读取智能体已有的 OpenTelemetry GenAI 追踪数据,并针对智能体的实际行为运行 165 项测试,例如谎称取得了并未获得的成功、未经验证就采取行动、遵循隐藏指令、调用被禁止的工具或泄露个人数据。它离线运行,无需 API 密钥、网络或 LLM 评判器,因此相同的追踪数据始终产生相同的通过、失败或不适用判定,并且内置了针对 LangGraph、OpenAI Agents SDK、AutoGen、smolagents 和 n8n 的原生日志导入器。可通过 pip install agentest-ai(版本 3.5.0)安装,它提供带 JUnit、SARIF、JSON、HTML、Markdown 和 CSV 输出的 --strict CI 门禁,以及无需安装的浏览器报告卡和 Colab 演示。
来源:Hacker News · AI · github.com