跳到正文
热点事件持续更新

开源工具 agentest 可离线根据 OpenTelemetry 追踪记录为 AI 智能体评分

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

AiEnsured 首席技术官 Srinivas Padmanabhuni 发布了 agentest,这是一款开源工具,通过读取 AI 智能体已有的 OpenTelemetry GenAI 追踪记录来评估它们,而不是重新运行智能体。它对智能体的实际行为应用 165 项测试,标记诸如谎报未获得的成功、未经验证就行动、遵循隐藏指令、调用被禁止的工具或泄露个人数据等行为。 据发布说明,该工具离线运行,无需 API 密钥、网络或 LLM 评判器,因此相同的追踪记录始终产生相同的通过、失败或不适用判定。它适用于任何记录 OpenTelemetry GenAI 追踪记录的框架,并为 LangGraph、OpenAI Agents SDK、AutoGen、smolagents 和 n8n 提供原生日志导入器。 它可通过 pip install agentest-ai(版本 3.5.0)安装,并提供带 JUnit、SARIF、JSON、HTML、Markdown 和 CSV 输出的 --strict CI 门禁。浏览器报告卡和 Colab 演示允许无需安装即可使用。

AI 根据报道生成 · 5 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. Hacker News · AI
    Agentest 发布:一款离线测试套件,可从 OpenTelemetry 追踪数据中为 AI 智能体评分

    AiEnsured 首席技术官 Srinivas Padmanabhuni 发布了 agentest,这是一款开源工具,可读取智能体已有的 OpenTelemetry GenAI 追踪数据,并针对智能体的实际行为运行 165 项测试,例如谎称取得了并未获得的成功、未经验证就采取行动、遵循隐藏指令、调用被禁止的工具或泄露个人数据。它离线运行,无需 API 密钥、网络或 LLM 评判器,因此相同的追踪数据始终产生相同的通过、失败或不适用判定,并且内置了针对 LangGraph、OpenAI Agents SDK、AutoGen、smolagents 和 n8n 的原生日志导入器。可通过 pip install agentest-ai(版本 3.5.0)安装,它提供带 JUnit、SARIF、JSON、HTML、Markdown 和 CSV 输出的 --strict CI 门禁,以及无需安装的浏览器报告卡和 Colab 演示。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月19日 23:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。