Tới nội dung
AWS Machine Learning Blog· Shubham Gupta·· 8 giờ trướcĐiểm AI38

ArisGlobal mở rộng quy mô suy luận AI tạo sinh trên Amazon Bedrock như thế nào

How ArisGlobal scaled generative AI inference on Amazon Bedrock

Tóm tắt bằng AI

ArisGlobal đã đảo ngược thứ tự prompt trong công cụ AI NavaX của mình trên Amazon Bedrock, lưu bộ nhớ đệm cho tiền tố prompt dùng chung thay vì từng tài liệu nguồn để cắt giảm chi phí đầu vào thực tế. Tiền tố dùng chung đã tăng từ khoảng 72.000 lên 180.000 token trong 6 tháng, đẩy chi phí suy luận mỗi ca lên hơn 200%. NavaX đã xử lý hơn 1 triệu giao dịch thực tế trong môi trường dược phẩm được quản lý chặt chẽ kể từ lần triển khai Amazon Bedrock đầu tiên với Claude của Anthropic vào tháng 3 năm 2025.

Nguồn:AWS Machine Learning Blog · aws.amazon.com