AWS Machine Learning Blog· Dustin Liu·· 1 giờ trướcĐiểm AI38
Sử dụng prompt caching với các mô hình open-weight trên Amazon Bedrock
Use prompt caching with open-weight models on Amazon Bedrock
Tóm tắt bằng AI
Các mô hình open-weight của Amazon Bedrock hiện đã hỗ trợ prompt caching tường minh song song với caching ngầm tự động, cho phép ứng dụng tái sử dụng một tiền tố prompt khớp nhau giữa các yêu cầu thay vì xử lý lại nó. Lượt đọc cache được tính phí ở mức thấp hơn so với đầu vào tiêu chuẩn, và bài viết trình bày cả hai chế độ thông qua Chat Completions API cùng với caching ngầm trong một phiên của coding agent OpenCode.
Nguồn:AWS Machine Learning Blog · aws.amazon.com