AWS và Accenture báo cáo tiết kiệm 40–85% token trên Bedrock
Bắt đầu từ đây
Accenture đã áp dụng sáu đòn bẩy tối ưu chi phí token trên bốn dự án khách hàng trên Amazon Bedrock, và AWS cho biết chi phí token giảm khoảng 40–85% ở những nơi được đo lường mức tiết kiệm. Accenture nói kết quả phụ thuộc vào khối lượng công việc của từng khách hàng và có thể khác nhau, và họ giữ kín tên khách hàng vì lý do bảo mật. Các đòn bẩy trải từ những bước chỉ cần cấu hình — prompt caching, mà AWS nói có thể cắt giảm tới 90% chi phí token đầu vào được lưu trong bộ nhớ đệm, và batch inference, rẻ hơn 50% — đến những thay đổi kiến trúc như định tuyến prompt thông minh, mà AWS nói tiết kiệm tới 30%. Hai trong bốn dự án đã áp dụng nhiều thay đổi cùng lúc, nên không tách riêng được đóng góp của từng đòn bẩy. Accenture đóng khung công việc này qua khuôn khổ Cost per Business Transaction, gắn mức tiêu thụ token với kết quả kinh doanh thay vì số lượng token thô.
Tạo từ các bài viết · cập nhật 1 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogTối ưu hóa kinh tế AI trên Amazon Bedrock với cách tiếp cận theo trình tự của Accenture
Accenture đã áp dụng sáu đòn bẩy tối ưu hóa chi phí token trên bốn dự án khách hàng trên Amazon Bedrock, cắt giảm chi phí token khoảng 40–85 phần trăm ở những nơi được đo lường mức tiết kiệm. Các đòn bẩy bao gồm các bước chỉ cấu hình như prompt caching (giảm tới 90 phần trăm chi phí token đầu vào được lưu trong bộ nhớ đệm) và batch inference (rẻ hơn 50 phần trăm), cùng với các thay đổi kiến trúc như định tuyến prompt thông minh (tiết kiệm tới 30 phần trăm). Khung Cost per Business Transaction của Accenture gắn mức tiêu thụ với kết quả kinh doanh.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.