AWS Machine Learning Blog· Dustin Liu·· 1 ชม. ที่แล้วคะแนน AI38
การใช้ prompt caching กับโมเดล open-weight บน Amazon Bedrock
Use prompt caching with open-weight models on Amazon Bedrock
สรุปโดย AI
โมเดล open-weight ของ Amazon Bedrock รองรับ explicit prompt caching ควบคู่กับ automatic implicit caching แล้ว ทำให้แอปพลิเคชันสามารถนำ prompt prefix ที่ตรงกันกลับมาใช้ซ้ำข้ามคำขอได้แทนที่จะประมวลผลใหม่ การอ่านจากแคชมีอัตราค่าบริการต่ำกว่าอินพุตมาตรฐาน และโพสต์นี้สาธิตทั้งสองโหมดผ่าน Chat Completions API พร้อมกับ implicit caching ในเซสชัน coding agent ของ OpenCode
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com