ข้ามไปที่เนื้อหา
Hacker News · AI·· 5 ชม. ที่แล้วคะแนน AI60

Agentest เปิดตัวในฐานะชุดทดสอบออฟไลน์ที่ให้คะแนน AI agent จาก OpenTelemetry trace

Show HN: Agentest – offline tests for AI agents from OpenTelemetry traces

สรุปโดย AI

Srinivas Padmanabhuni CTO ของ AiEnsured เปิดตัว agentest เครื่องมือโอเพนซอร์สที่อ่าน OpenTelemetry GenAI trace ที่มีอยู่ของ agent แล้วรันการทดสอบ 165 รายการกับสิ่งที่ agent ทำจริง เช่น อ้างความสำเร็จที่ไม่ได้มา ลงมือก่อนตรวจสอบ ทำตามคำสั่งที่ซ่อนอยู่ เรียกใช้เครื่องมือที่ไม่อนุญาต หรือรั่วข้อมูลส่วนบุคคล ทำงานออฟไลน์โดยไม่ต้องใช้ API key เครือข่าย หรือ LLM judge ดังนั้น trace เดียวกันจึงให้ผลตัดสินผ่าน ไม่ผ่าน หรือ n/a เหมือนเดิมเสมอ และมีตัวนำเข้าบันทึกแบบเนทีฟสำหรับ LangGraph, OpenAI Agents SDK, AutoGen, smolagents และ n8n ติดตั้งได้ผ่าน pip install agentest-ai (เวอร์ชัน 3.5.0) มี CI gate แบบ --strict พร้อมเอาต์พุต JUnit, SARIF, JSON, HTML, Markdown และ CSV รวมถึงรายงานในเบราว์เซอร์แบบไม่ต้องติดตั้งและเดโม Colab

แหล่งข่าว:Hacker News · AI · github.com