跳到正文
AWS Machine Learning Blog· Shubham Gupta·· 9 小时前AI 评分38

ArisGlobal 如何在 Amazon Bedrock 上扩展生成式 AI 推理

How ArisGlobal scaled generative AI inference on Amazon Bedrock

AI 导读

ArisGlobal 在 Amazon Bedrock 上的 NavaX AI 引擎中反转了提示词顺序,改为缓存共享的提示词前缀,而不是缓存每份源文档,从而降低了实际输入成本。共享前缀在 6 个月内从约 72,000 个 token 增长到 180,000 个 token,使单案例推理成本上升超过 200%。自 2025 年 3 月首次在 Amazon Bedrock 上部署 Anthropic 的 Claude 以来,NavaX 已在受监管的制药环境中处理了超过 100 万笔真实交易。

来源:AWS Machine Learning Blog · aws.amazon.com