Tới nội dung
Sự việc nóngĐang diễn ra

Các mô hình open-weight trên Amazon Bedrock được hỗ trợ prompt caching tường minh

1 bài viết1 nguồn đưa tinCập nhật 1 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Theo một bài đăng trên AWS Machine Learning Blog, các mô hình open-weight của Amazon Bedrock hiện đã hỗ trợ prompt caching tường minh, bên cạnh tính năng caching ngầm tự động vốn đã có sẵn. Ứng dụng có thể tái sử dụng một tiền tố prompt khớp nhau giữa các yêu cầu thay vì xử lý lại, và bài đăng trình bày chi tiết cả hai chế độ thông qua Chat Completions API và minh họa caching ngầm trong một phiên của coding agent OpenCode. Chi phí phụ thuộc vào thao tác: đọc cache được tính giá thấp hơn so với đầu vào tiêu chuẩn, nên khoản tiết kiệm tăng lên mỗi lần một tiền tố được tái sử dụng, trong khi ghi cache có thể bị tính giá cao hơn đầu vào tiêu chuẩn tùy theo mô hình. Tính khả dụng của mô hình và hỗ trợ prompt caching cũng khác nhau theo từng AWS Region, vì vậy người dùng được khuyến nghị kiểm tra model card để biết các Region được hỗ trợ.

Tạo từ các bài viết · cập nhật 25 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

16 tháng 11
  1. AWS Machine Learning Blog
    Sử dụng prompt caching với các mô hình open-weight trên Amazon Bedrock

    Các mô hình open-weight của Amazon Bedrock hiện đã hỗ trợ prompt caching tường minh song song với caching ngầm tự động, cho phép ứng dụng tái sử dụng một tiền tố prompt khớp nhau giữa các yêu cầu thay vì xử lý lại nó. Lượt đọc cache được tính phí ở mức thấp hơn so với đầu vào tiêu chuẩn, và bài viết trình bày cả hai chế độ thông qua Chat Completions API cùng với caching ngầm trong một phiên của coding agent OpenCode.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.