Tới nội dung
AWS Machine Learning Blog· Dustin Liu·· 1 giờ trướcĐiểm AI38

Sử dụng prompt caching với các mô hình open-weight trên Amazon Bedrock

Use prompt caching with open-weight models on Amazon Bedrock

Tóm tắt bằng AI

Các mô hình open-weight của Amazon Bedrock hiện đã hỗ trợ prompt caching tường minh song song với caching ngầm tự động, cho phép ứng dụng tái sử dụng một tiền tố prompt khớp nhau giữa các yêu cầu thay vì xử lý lại nó. Lượt đọc cache được tính phí ở mức thấp hơn so với đầu vào tiêu chuẩn, và bài viết trình bày cả hai chế độ thông qua Chat Completions API cùng với caching ngầm trong một phiên của coding agent OpenCode.

Nguồn:AWS Machine Learning Blog · aws.amazon.com