ข้ามไปที่เนื้อหา
AWS Machine Learning Blog· Pallav Gupta·· 2 ชม. ที่แล้วคะแนน AI58

ลดต้นทุนโทเคนและความหน่วงในงาน JSON ของ Amazon Bedrock AgentCore

Reducing token costs and latency in Amazon Bedrock AgentCore JSON workloads

สรุปโดย AI

Flightscape และ AWS อธิบายกลยุทธ์ที่ประกอบกันได้สามแบบสำหรับลดการใช้โทเคนและความหน่วงในเอเจนต์ Amazon Bedrock AgentCore ที่จัดการเพย์โหลด JSON ขนาด 20 MB ขึ้นไป ได้แก่ การย้ายอาร์ติแฟกต์ขนาดใหญ่ออกไปยัง Amazon S3 และเก็บไว้เพียงการอ้างอิงในหน่วยความจำ AgentCore การแบ่งหน้ารายการผลลัพธ์ขนาดใหญ่ตามต้องการ และการบีบอัดเอาต์พุตพจนานุกรมที่มีขนาดใหญ่เกินไปให้เป็นตัวอธิบาย บนเพย์โหลดตัวแทนขนาด 23 MB การปรับแต่งเหล่านี้ลดการใช้โทเคนได้สูงสุดถึง 71% และลดความหน่วงเฉลี่ยได้สูงสุดถึง 80% จากคำถามตัวอย่าง 100 ข้อ โทเคนรวมลดลงจาก 23.6M เหลือ 8.5M และความหน่วงเฉลี่ยของเทรซลดลงจาก 7,930 ms เหลือ 2,461 ms เอเจนต์นี้สร้างด้วย LangGraph และมีโค้ดประกอบอยู่ในรีโพซิทอรี GitHub

แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com