ArisGlobal đảo ngược thứ tự prompt trên Amazon Bedrock để lưu đệm tiền tố dùng chung
Bắt đầu từ đây
ArisGlobal đã thay đổi cách công cụ AI NavaX của mình sắp xếp thứ tự prompt trên Amazon Bedrock, lưu đệm tiền tố prompt dùng chung thay vì từng tài liệu nguồn, điều mà AWS cho biết đã giảm chi phí đầu vào hiệu dụng và cho phép công ty thêm người thuê mà chi phí không tăng tương ứng. Tiền tố dùng chung đã tăng từ khoảng 72.000 lên 180.000 token trong sáu tháng, đẩy chi phí suy luận mỗi trường hợp tăng hơn 200%. NavaX đã xử lý hơn 1 triệu giao dịch thực tế trong môi trường dược phẩm được quản lý chặt chẽ kể từ lần triển khai Bedrock đầu tiên với Claude của Anthropic vào tháng 3 năm 2025. Lưu đệm prompt trên Bedrock có TTL mặc định là 5 phút; một số mô hình được chọn hỗ trợ TTL 1 giờ qua "ttl": "1h". Với Claude Sonnet 4.5, prompt tối thiểu có thể lưu đệm là 1.024 token và tính khả dụng của mô hình khác nhau tùy theo Region.
Tạo từ các bài viết · cập nhật 8 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogArisGlobal mở rộng quy mô suy luận AI tạo sinh trên Amazon Bedrock như thế nào
ArisGlobal đã đảo ngược thứ tự prompt trong công cụ AI NavaX của mình trên Amazon Bedrock, lưu bộ nhớ đệm cho tiền tố prompt dùng chung thay vì từng tài liệu nguồn để cắt giảm chi phí đầu vào thực tế. Tiền tố dùng chung đã tăng từ khoảng 72.000 lên 180.000 token trong 6 tháng, đẩy chi phí suy luận mỗi ca lên hơn 200%. NavaX đã xử lý hơn 1 triệu giao dịch thực tế trong môi trường dược phẩm được quản lý chặt chẽ kể từ lần triển khai Amazon Bedrock đầu tiên với Claude của Anthropic vào tháng 3 năm 2025.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 8
- Đỉnh, trong khoảng so sánh được
- 1018 tháng 11 01:00
- Thay đổi trong 24 giờ
- –
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.