跳至正文
熱點事件持續更新

開源工具 agentest 離線依據 OpenTelemetry 追蹤紀錄為 AI 代理評分

1 篇報導1 個報導來源5 小時前更新

先了解這件事

AI 綜述

AiEnsured 技術長 Srinivas Padmanabhuni 發布開源工具 agentest,透過讀取 AI 代理既有的 OpenTelemetry GenAI 追蹤紀錄來評估代理,而非重新執行代理。它對代理實際從事的行為套用 165 項測試,標記出諸如未經證實即宣稱成功、尚未驗證就先行動、遵循隱藏指令、呼叫不允許的工具或洩露個人資料等行為。 根據發布說明,該工具離線執行,無需 API 金鑰、網路或 LLM 評審,因此相同的追蹤紀錄總是產生相同的通過、失敗或 n/a 判定。它適用於任何會記錄 OpenTelemetry GenAI 追蹤紀錄的框架,並隨附 LangGraph、OpenAI Agents SDK、AutoGen、smolagents 與 n8n 的原生日誌匯入器。 它可透過 pip install agentest-ai(版本 3.5.0)安裝,並提供 --strict CI 閘門,支援 JUnit、SARIF、JSON、HTML、Markdown 與 CSV 輸出。瀏覽器版報告卡與 Colab 示範可讓使用者無需安裝即可使用。

AI 依報導生成 · 5 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月19日
  1. Hacker News · AI
    Agentest 推出離線測試套件,可從 OpenTelemetry 追蹤紀錄為 AI 代理評分

    AiEnsured 技術長 Srinivas Padmanabhuni 發布了 agentest,這是一款開源工具,會讀取代理既有的 OpenTelemetry GenAI 追蹤紀錄,並針對代理實際從事的行為執行 165 項測試,例如謊稱並未真正取得的成功、尚未驗證就先行動、遵循隱藏指令、呼叫遭禁止的工具或洩漏個人資料。它離線執行,無需 API 金鑰、網路或 LLM 評審,因此相同的追蹤紀錄總是產生相同的通過、失敗或 n/a 判定,並隨附 LangGraph、OpenAI Agents SDK、AutoGen、smolagents 與 n8n 的原生日誌匯入器。可透過 pip install agentest-ai(版本 3.5.0)安裝,提供搭配 JUnit、SARIF、JSON、HTML、Markdown 與 CSV 輸出的 --strict CI 閘門,另有免安裝的瀏覽器報告卡與 Colab 示範。

本事件熱度走勢

可比範圍當前
9
可比範圍峰值
1011月19日 23:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。