AWS Machine Learning Blog· Ilan Geller·· 2 giờ trướcĐiểm AI36
Tối ưu hóa kinh tế AI trên Amazon Bedrock với cách tiếp cận theo trình tự của Accenture
Optimize AI economics on Amazon Bedrock with Accenture’s sequenced approach
Tóm tắt bằng AI
Accenture đã áp dụng sáu đòn bẩy tối ưu hóa chi phí token trên bốn dự án khách hàng trên Amazon Bedrock, cắt giảm chi phí token khoảng 40–85 phần trăm ở những nơi được đo lường mức tiết kiệm. Các đòn bẩy bao gồm các bước chỉ cấu hình như prompt caching (giảm tới 90 phần trăm chi phí token đầu vào được lưu trong bộ nhớ đệm) và batch inference (rẻ hơn 50 phần trăm), cùng với các thay đổi kiến trúc như định tuyến prompt thông minh (tiết kiệm tới 30 phần trăm). Khung Cost per Business Transaction của Accenture gắn mức tiêu thụ với kết quả kinh doanh.
Nguồn:AWS Machine Learning Blog · aws.amazon.com