โมเดล open-weight บน Amazon Bedrock รองรับ explicit prompt caching
เริ่มตรงนี้
โมเดล open-weight ของ Amazon Bedrock รองรับ explicit prompt caching แล้ว นอกเหนือจาก automatic implicit caching ที่มีอยู่เดิม ตามโพสต์ใน AWS Machine Learning Blog แอปพลิเคชันสามารถนำ prompt prefix ที่ตรงกันกลับมาใช้ซ้ำข้ามคำขอได้แทนการประมวลผลใหม่ และโพสต์ดังกล่าวอธิบายทั้งสองโหมดผ่าน Chat Completions API พร้อมแสดง implicit caching ในเซสชัน coding agent ของ OpenCode ค่าใช้จ่ายขึ้นอยู่กับการดำเนินการ: การอ่านแคชถูกคิดในอัตราที่ต่ำกว่าอินพุตมาตรฐาน ดังนั้นการประหยัดจะเพิ่มขึ้นทุกครั้งที่นำ prefix กลับมาใช้ซ้ำ ขณะที่การเขียนแคชอาจถูกคิดในอัตราที่สูงกว่าอินพุตมาตรฐาน ขึ้นอยู่กับโมเดล ความพร้อมใช้งานของโมเดลและการรองรับ prompt caching ยังแตกต่างกันตาม AWS Region ผู้ใช้จึงได้รับคำแนะนำให้ตรวจสอบ model card สำหรับ Region ที่รองรับ
สร้างจากรายงาน · อัปเดต 25 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning Blogการใช้ prompt caching กับโมเดล open-weight บน Amazon Bedrock
โมเดล open-weight ของ Amazon Bedrock รองรับ explicit prompt caching ควบคู่กับ automatic implicit caching แล้ว ทำให้แอปพลิเคชันสามารถนำ prompt prefix ที่ตรงกันกลับมาใช้ซ้ำข้ามคำขอได้แทนที่จะประมวลผลใหม่ การอ่านจากแคชมีอัตราค่าบริการต่ำกว่าอินพุตมาตรฐาน และโพสต์นี้สาธิตทั้งสองโหมดผ่าน Chat Completions API พร้อมกับ implicit caching ในเซสชัน coding agent ของ OpenCode
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม