Các mô hình open-weight trên Amazon Bedrock được hỗ trợ prompt caching tường minh
Bắt đầu từ đây
Theo một bài đăng trên AWS Machine Learning Blog, các mô hình open-weight của Amazon Bedrock hiện đã hỗ trợ prompt caching tường minh, bên cạnh tính năng caching ngầm tự động vốn đã có sẵn. Ứng dụng có thể tái sử dụng một tiền tố prompt khớp nhau giữa các yêu cầu thay vì xử lý lại, và bài đăng trình bày chi tiết cả hai chế độ thông qua Chat Completions API và minh họa caching ngầm trong một phiên của coding agent OpenCode. Chi phí phụ thuộc vào thao tác: đọc cache được tính giá thấp hơn so với đầu vào tiêu chuẩn, nên khoản tiết kiệm tăng lên mỗi lần một tiền tố được tái sử dụng, trong khi ghi cache có thể bị tính giá cao hơn đầu vào tiêu chuẩn tùy theo mô hình. Tính khả dụng của mô hình và hỗ trợ prompt caching cũng khác nhau theo từng AWS Region, vì vậy người dùng được khuyến nghị kiểm tra model card để biết các Region được hỗ trợ.
Tạo từ các bài viết · cập nhật 25 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogSử dụng prompt caching với các mô hình open-weight trên Amazon Bedrock
Các mô hình open-weight của Amazon Bedrock hiện đã hỗ trợ prompt caching tường minh song song với caching ngầm tự động, cho phép ứng dụng tái sử dụng một tiền tố prompt khớp nhau giữa các yêu cầu thay vì xử lý lại nó. Lượt đọc cache được tính phí ở mức thấp hơn so với đầu vào tiêu chuẩn, và bài viết trình bày cả hai chế độ thông qua Chat Completions API cùng với caching ngầm trong một phiên của coding agent OpenCode.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.