ข้ามไปที่เนื้อหา
AWS Machine Learning Blog· Dustin Liu·· 1 ชม. ที่แล้วคะแนน AI38

การใช้ prompt caching กับโมเดล open-weight บน Amazon Bedrock

Use prompt caching with open-weight models on Amazon Bedrock

สรุปโดย AI

โมเดล open-weight ของ Amazon Bedrock รองรับ explicit prompt caching ควบคู่กับ automatic implicit caching แล้ว ทำให้แอปพลิเคชันสามารถนำ prompt prefix ที่ตรงกันกลับมาใช้ซ้ำข้ามคำขอได้แทนที่จะประมวลผลใหม่ การอ่านจากแคชมีอัตราค่าบริการต่ำกว่าอินพุตมาตรฐาน และโพสต์นี้สาธิตทั้งสองโหมดผ่าน Chat Completions API พร้อมกับ implicit caching ในเซสชัน coding agent ของ OpenCode

แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com