Hacker News · AI·· 14 ชม. ที่แล้วคะแนน AI58
Attest 1.1.0 เปิดตัวในฐานะเฟรมเวิร์กทดสอบสำหรับพฤติกรรม AI agent ในภาษา Python และ TypeScript
Show HN: Attest – Test what AI agents do, not just what they say
สรุปโดย AI
Attest 1.1.0 เป็นเฟรมเวิร์กทดสอบสำหรับ AI agent ในภาษา Python และ TypeScript ที่ตรวจสอบคำตอบ ลำดับการเรียกเครื่องมือ และการเปลี่ยนแปลงสถานะภายนอกผ่าน pytest หรือ Vitest โดยใช้กระบวนการ capture, strict replay และ gate ซึ่งการ replay จะรันโค้ดจริงของ agent เทียบกับคำตอบของโมเดลที่บันทึกไว้ โดยไม่มีการเรียกโมเดลแบบสดสำหรับคำขอที่ตรงกัน การตรวจสอบแบ่งออกเป็น 6 ชั้น ตั้งแต่การตรวจสอบ schema, constraint, trace และเนื้อหาแบบไม่เสียค่าใช้จ่าย ไปจนถึง embedding similarity และ LLM-as-judge ซึ่งต้องพึ่งพาผู้ให้บริการแบบเสียค่าใช้จ่ายหรือแบบโลคอล
แหล่งข่าว:Hacker News · AI · attest-framework.github.io