AWS Machine Learning Blog· Shubham Gupta·· 9 小時前AI 評分38
ArisGlobal 如何在 Amazon Bedrock 上擴展生成式 AI 推論
How ArisGlobal scaled generative AI inference on Amazon Bedrock
AI 導讀
ArisGlobal 在 Amazon Bedrock 上的 NavaX AI 引擎中反轉了提示順序,改為快取共用的提示前綴,而非快取每份來源文件,以降低實際輸入成本。共用前綴在 6 個月內從約 72,000 個 token 成長到 180,000 個 token,使每案推論成本上升超過 200%。自 2025 年 3 月首次與 Anthropic 的 Claude 一同部署於 Amazon Bedrock 以來,NavaX 已在受監管的製藥環境中處理超過 100 萬筆真實交易。
來源:AWS Machine Learning Blog · aws.amazon.com