Attest 1.1.0 เปิดตัวสำหรับการทดสอบ AI agents
เริ่มตรงนี้
Attest เปิดตัวเวอร์ชัน 1.1.0 ซึ่งเป็นเฟรมเวิร์กสำหรับทดสอบ AI agents ในภาษา Python และ TypeScript ที่ตรวจสอบการตอบกลับ ลำดับการเรียกใช้เครื่องมือ และการเปลี่ยนแปลงสถานะภายนอก ผ่าน pytest หรือ Vitest โดยใช้กระบวนการ capture, strict replay และ gate workflow: strict replay รันโค้ดจริงของ agent เทียบกับการตอบกลับของโมเดลที่บันทึกไว้ผ่านพร็อกซีภายในเครื่อง โดยไม่มีการเรียกโมเดลแบบสดสำหรับคำขอที่ตรงกัน การตรวจสอบแบ่งออกเป็นหกชั้น ตั้งแต่การตรวจสอบ schema, constraint, trace และเนื้อหาแบบไม่เสียค่าใช้จ่าย ไปจนถึงการวัดความคล้ายคลึงด้วย embedding และ LLM-as-judge ซึ่งต้องพึ่งพาผู้ให้บริการแบบเสียค่าใช้จ่ายหรือภายในเครื่อง OpenAI embeddings และผู้ตัดสิน OpenAI, Anthropic และ Gemini เป็นแบบเสียค่าใช้จ่าย ขณะที่โมเดล ONNX ภายในเครื่อง, ACP agent ภายในเครื่อง หรือ endpoint ภายในเครื่องที่เข้ากันได้กับ OpenAI ไม่เสียค่าใช้จ่าย Attest แนะนำให้เริ่มต้นด้วยการตรวจสอบแบบ deterministic และเพิ่มผู้ตัดสินที่เป็นโมเดลเฉพาะสำหรับเกณฑ์ที่การตรวจสอบเหล่านั้นไม่สามารถแสดงออกได้
สร้างจากรายงาน · อัปเดต 14 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIAttest 1.1.0 เปิดตัวในฐานะเฟรมเวิร์กทดสอบสำหรับพฤติกรรม AI agent ในภาษา Python และ TypeScript
Attest 1.1.0 เป็นเฟรมเวิร์กทดสอบสำหรับ AI agent ในภาษา Python และ TypeScript ที่ตรวจสอบคำตอบ ลำดับการเรียกเครื่องมือ และการเปลี่ยนแปลงสถานะภายนอกผ่าน pytest หรือ Vitest โดยใช้กระบวนการ capture, strict replay และ gate ซึ่งการ replay จะรันโค้ดจริงของ agent เทียบกับคำตอบของโมเดลที่บันทึกไว้ โดยไม่มีการเรียกโมเดลแบบสดสำหรับคำขอที่ตรงกัน การตรวจสอบแบ่งออกเป็น 6 ชั้น ตั้งแต่การตรวจสอบ schema, constraint, trace และเนื้อหาแบบไม่เสียค่าใช้จ่าย ไปจนถึง embedding similarity และ LLM-as-judge ซึ่งต้องพึ่งพาผู้ให้บริการแบบเสียค่าใช้จ่ายหรือแบบโลคอล
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 7
- จุดสูงสุดในช่วงที่เทียบได้
- 1016 พฤศจิกายน 03:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู