ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

AWS และ Accenture รายงานการประหยัดโทเคน 40–85% บน Bedrock

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 2 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Accenture นำกลไกการเพิ่มประสิทธิภาพการใช้จ่ายโทเคนหกประการมาใช้ในงานลูกค้าสี่โครงการบน Amazon Bedrock และ AWS ระบุว่าการใช้จ่ายโทเคนลดลงราว 40–85 เปอร์เซ็นต์ในส่วนที่วัดผลการประหยัดได้ Accenture กล่าวว่าผลลัพธ์ขึ้นอยู่กับภาระงานของลูกค้าแต่ละรายและอาจแตกต่างกันไป และไม่เปิดเผยชื่อลูกค้าเพื่อรักษาความลับ กลไกเหล่านี้มีตั้งแต่ขั้นตอนที่ปรับแต่งการตั้งค่าเพียงอย่างเดียว — prompt caching ซึ่ง AWS ระบุว่าสามารถลดต้นทุนโทเคนอินพุตที่แคชไว้ได้ถึง 90 เปอร์เซ็นต์ และ batch inference ซึ่งถูกกว่า 50 เปอร์เซ็นต์ — ไปจนถึงการเปลี่ยนแปลงเชิงสถาปัตยกรรม เช่น intelligent prompt routing ซึ่ง AWS ระบุว่าประหยัดได้ถึง 30 เปอร์เซ็นต์ ในสี่โครงการดังกล่าว มีสองโครงการที่ใช้การเปลี่ยนแปลงหลายอย่างพร้อมกัน จึงไม่สามารถแยกส่วน貢獻ของแต่ละกลไกออกมาได้ Accenture มองงานนี้ผ่านกรอบ Cost per Business Transaction ที่เชื่อมโยงการใช้โทเคนเข้ากับผลลัพธ์ทางธุรกิจ แทนที่จะนับจำนวนโทเคนเพียงอย่างเดียว

สร้างจากรายงาน · อัปเดต 1 ชม. ที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

20 พฤศจิกายน
  1. AWS Machine Learning Blog
    เพิ่มประสิทธิภาพเศรษฐศาสตร์ AI บน Amazon Bedrock ด้วยแนวทางแบบลำดับขั้นของ Accenture

    Accenture นำคันโยกเพิ่มประสิทธิภาพการใช้จ่ายโทเคน 6 รายการมาใช้ในงานกับลูกค้า 4 รายบน Amazon Bedrock โดยลดการใช้จ่ายโทเคนได้ราว 40–85 เปอร์เซ็นต์ในกรณีที่มีการวัดผลประหยัด คันโยกเหล่านี้ครอบคลุมทั้งขั้นตอนที่ปรับได้เฉพาะการตั้งค่า เช่น prompt caching (ลดต้นทุนโทเคนอินพุตที่แคชไว้ได้สูงสุด 90 เปอร์เซ็นต์) และ batch inference (ถูกลง 50 เปอร์เซ็นต์) รวมถึงการเปลี่ยนแปลงเชิงสถาปัตยกรรม เช่น intelligent prompt routing (ประหยัดได้สูงสุด 30 เปอร์เซ็นต์) กรอบ Cost per Business Transaction ของ Accenture เชื่อมโยงการใช้จ่ายเข้ากับผลลัพธ์ทางธุรกิจ

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม