ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

โมเดล open-weight บน Amazon Bedrock รองรับ explicit prompt caching

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 ชม. ที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

โมเดล open-weight ของ Amazon Bedrock รองรับ explicit prompt caching แล้ว นอกเหนือจาก automatic implicit caching ที่มีอยู่เดิม ตามโพสต์ใน AWS Machine Learning Blog แอปพลิเคชันสามารถนำ prompt prefix ที่ตรงกันกลับมาใช้ซ้ำข้ามคำขอได้แทนการประมวลผลใหม่ และโพสต์ดังกล่าวอธิบายทั้งสองโหมดผ่าน Chat Completions API พร้อมแสดง implicit caching ในเซสชัน coding agent ของ OpenCode ค่าใช้จ่ายขึ้นอยู่กับการดำเนินการ: การอ่านแคชถูกคิดในอัตราที่ต่ำกว่าอินพุตมาตรฐาน ดังนั้นการประหยัดจะเพิ่มขึ้นทุกครั้งที่นำ prefix กลับมาใช้ซ้ำ ขณะที่การเขียนแคชอาจถูกคิดในอัตราที่สูงกว่าอินพุตมาตรฐาน ขึ้นอยู่กับโมเดล ความพร้อมใช้งานของโมเดลและการรองรับ prompt caching ยังแตกต่างกันตาม AWS Region ผู้ใช้จึงได้รับคำแนะนำให้ตรวจสอบ model card สำหรับ Region ที่รองรับ

สร้างจากรายงาน · อัปเดต 25 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

16 พฤศจิกายน
  1. AWS Machine Learning Blog
    การใช้ prompt caching กับโมเดล open-weight บน Amazon Bedrock

    โมเดล open-weight ของ Amazon Bedrock รองรับ explicit prompt caching ควบคู่กับ automatic implicit caching แล้ว ทำให้แอปพลิเคชันสามารถนำ prompt prefix ที่ตรงกันกลับมาใช้ซ้ำข้ามคำขอได้แทนที่จะประมวลผลใหม่ การอ่านจากแคชมีอัตราค่าบริการต่ำกว่าอินพุตมาตรฐาน และโพสต์นี้สาธิตทั้งสองโหมดผ่าน Chat Completions API พร้อมกับ implicit caching ในเซสชัน coding agent ของ OpenCode

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม