ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

AWS และ Flightscape ลดต้นทุนโทเค็น JSON ของ AgentCore ได้สูงสุดถึง 71%

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 2 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Flightscape และ AWS สร้างเอเจนต์ระดับโปรดักชันบน Amazon Bedrock AgentCore ที่รองรับเพย์โหลด JSON ขนาด 20 MB ขึ้นไป และรายงานกลยุทธ์ที่ประกอบกันได้สามข้อซึ่งช่วยลดการใช้โทเค็นและเวลาแฝง กลยุทธ์เหล่านี้ได้แก่ การย้ายอาร์ติแฟกต์ขนาดใหญ่ออกไปยัง Amazon S3 และเก็บไว้เพียงการอ้างอิงในหน่วยความจำของ AgentCore การแบ่งหน้ารายการผลลัพธ์ขนาดใหญ่ตามต้องการ และการบีบอัดเอาต์พุตพจนานุกรมที่มีขนาดใหญ่เกินไปให้เป็นตัวอธิบาย จากเพย์โหลดตัวแทนขนาด 23 MB การปรับแต่งเหล่านี้ลดการใช้โทเค็นได้สูงสุดถึง 71% และลดเวลาแฝงเฉลี่ยได้สูงสุดถึง 80% ตามที่ระบุในโพสต์ จากคำถามตัวอย่าง 100 ข้อ จำนวนโทเค็นรวมลดลงจาก 23.6M เหลือ 8.5M และเวลาแฝงเฉลี่ยของเทรซลดลงจาก 7,930 ms เหลือ 2,461 ms เอเจนต์นี้สร้างด้วย LangGraph และมีโค้ดประกอบอยู่ในรีโพซิทอรี GitHub ให้ผู้อื่นโคลนและปรับใช้ได้

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. AWS Machine Learning Blog
    ลดต้นทุนโทเคนและความหน่วงในงาน JSON ของ Amazon Bedrock AgentCore

    Flightscape และ AWS อธิบายกลยุทธ์ที่ประกอบกันได้สามแบบสำหรับลดการใช้โทเคนและความหน่วงในเอเจนต์ Amazon Bedrock AgentCore ที่จัดการเพย์โหลด JSON ขนาด 20 MB ขึ้นไป ได้แก่ การย้ายอาร์ติแฟกต์ขนาดใหญ่ออกไปยัง Amazon S3 และเก็บไว้เพียงการอ้างอิงในหน่วยความจำ AgentCore การแบ่งหน้ารายการผลลัพธ์ขนาดใหญ่ตามต้องการ และการบีบอัดเอาต์พุตพจนานุกรมที่มีขนาดใหญ่เกินไปให้เป็นตัวอธิบาย บนเพย์โหลดตัวแทนขนาด 23 MB การปรับแต่งเหล่านี้ลดการใช้โทเคนได้สูงสุดถึง 71% และลดความหน่วงเฉลี่ยได้สูงสุดถึง 80% จากคำถามตัวอย่าง 100 ข้อ โทเคนรวมลดลงจาก 23.6M เหลือ 8.5M และความหน่วงเฉลี่ยของเทรซลดลงจาก 7,930 ms เหลือ 2,461 ms เอเจนต์นี้สร้างด้วย LangGraph และมีโค้ดประกอบอยู่ในรีโพซิทอรี GitHub

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม