跳至正文
Hacker News · AI·· 5 小時前AI 評分60

Agentest 推出離線測試套件,可從 OpenTelemetry 追蹤紀錄為 AI 代理評分

Show HN: Agentest – offline tests for AI agents from OpenTelemetry traces

AI 導讀

AiEnsured 技術長 Srinivas Padmanabhuni 發布了 agentest,這是一款開源工具,會讀取代理既有的 OpenTelemetry GenAI 追蹤紀錄,並針對代理實際從事的行為執行 165 項測試,例如謊稱並未真正取得的成功、尚未驗證就先行動、遵循隱藏指令、呼叫遭禁止的工具或洩漏個人資料。它離線執行,無需 API 金鑰、網路或 LLM 評審,因此相同的追蹤紀錄總是產生相同的通過、失敗或 n/a 判定,並隨附 LangGraph、OpenAI Agents SDK、AutoGen、smolagents 與 n8n 的原生日誌匯入器。可透過 pip install agentest-ai(版本 3.5.0)安裝,提供搭配 JUnit、SARIF、JSON、HTML、Markdown 與 CSV 輸出的 --strict CI 閘門,另有免安裝的瀏覽器報告卡與 Colab 示範。

來源:Hacker News · AI · github.com