AWS และ Flightscape ลดต้นทุนโทเค็น JSON ของ AgentCore ได้สูงสุดถึง 71%
เริ่มตรงนี้
Flightscape และ AWS สร้างเอเจนต์ระดับโปรดักชันบน Amazon Bedrock AgentCore ที่รองรับเพย์โหลด JSON ขนาด 20 MB ขึ้นไป และรายงานกลยุทธ์ที่ประกอบกันได้สามข้อซึ่งช่วยลดการใช้โทเค็นและเวลาแฝง กลยุทธ์เหล่านี้ได้แก่ การย้ายอาร์ติแฟกต์ขนาดใหญ่ออกไปยัง Amazon S3 และเก็บไว้เพียงการอ้างอิงในหน่วยความจำของ AgentCore การแบ่งหน้ารายการผลลัพธ์ขนาดใหญ่ตามต้องการ และการบีบอัดเอาต์พุตพจนานุกรมที่มีขนาดใหญ่เกินไปให้เป็นตัวอธิบาย จากเพย์โหลดตัวแทนขนาด 23 MB การปรับแต่งเหล่านี้ลดการใช้โทเค็นได้สูงสุดถึง 71% และลดเวลาแฝงเฉลี่ยได้สูงสุดถึง 80% ตามที่ระบุในโพสต์ จากคำถามตัวอย่าง 100 ข้อ จำนวนโทเค็นรวมลดลงจาก 23.6M เหลือ 8.5M และเวลาแฝงเฉลี่ยของเทรซลดลงจาก 7,930 ms เหลือ 2,461 ms เอเจนต์นี้สร้างด้วย LangGraph และมีโค้ดประกอบอยู่ในรีโพซิทอรี GitHub ให้ผู้อื่นโคลนและปรับใช้ได้
สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogลดต้นทุนโทเคนและความหน่วงในงาน JSON ของ Amazon Bedrock AgentCore
Flightscape และ AWS อธิบายกลยุทธ์ที่ประกอบกันได้สามแบบสำหรับลดการใช้โทเคนและความหน่วงในเอเจนต์ Amazon Bedrock AgentCore ที่จัดการเพย์โหลด JSON ขนาด 20 MB ขึ้นไป ได้แก่ การย้ายอาร์ติแฟกต์ขนาดใหญ่ออกไปยัง Amazon S3 และเก็บไว้เพียงการอ้างอิงในหน่วยความจำ AgentCore การแบ่งหน้ารายการผลลัพธ์ขนาดใหญ่ตามต้องการ และการบีบอัดเอาต์พุตพจนานุกรมที่มีขนาดใหญ่เกินไปให้เป็นตัวอธิบาย บนเพย์โหลดตัวแทนขนาด 23 MB การปรับแต่งเหล่านี้ลดการใช้โทเคนได้สูงสุดถึง 71% และลดความหน่วงเฉลี่ยได้สูงสุดถึง 80% จากคำถามตัวอย่าง 100 ข้อ โทเคนรวมลดลงจาก 23.6M เหลือ 8.5M และความหน่วงเฉลี่ยของเทรซลดลงจาก 7,930 ms เหลือ 2,461 ms เอเจนต์นี้สร้างด้วย LangGraph และมีโค้ดประกอบอยู่ในรีโพซิทอรี GitHub
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม