ข้ามไปที่เนื้อหา
AWS Machine Learning Blog· Shubham Gupta·· 8 ชม. ที่แล้วคะแนน AI38

ArisGlobal ขยายการอนุมาน AI แบบสร้างสรรค์บน Amazon Bedrock ได้อย่างไร

How ArisGlobal scaled generative AI inference on Amazon Bedrock

สรุปโดย AI

ArisGlobal กลับลำดับพรอมต์ในเอนจิน NavaX AI บน Amazon Bedrock โดยแคชคำนำหน้าพรอมต์ที่ใช้ร่วมกันแทนที่จะแคชเอกสารต้นทางแต่ละฉบับ เพื่อลดต้นทุนอินพุตที่แท้จริง คำนำหน้าที่ใช้ร่วมกันเติบโตจากประมาณ 72,000 เป็น 180,000 โทเคนใน 6 เดือน ทำให้ต้นทุนการอนุมานต่อเคสเพิ่มขึ้นมากกว่า 200% NavaX ประมวลผลธุรกรรมจริงมากกว่า 1 ล้านรายการในสภาพแวดล้อมเภสัชกรรมที่มีการกำกับดูแลตั้งแต่การติดตั้งใช้งาน Amazon Bedrock ครั้งแรกกับ Claude ของ Anthropic ในเดือนมีนาคม 2025

แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com