跳到正文
AWS Machine Learning Blog· Apoorva Chandra·· 23 小时前AI 评分38

Salesforce 借助 Amazon SageMaker AI 中的跨区域推理路由扩展全球模型服务

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

AI 导读

Salesforce 的 Agentforce Foundation 团队采用了 Amazon SageMaker AI 中的跨区域推理路由,在 30 多个全球区域和数百个 AWS 账户中为自研模型和开源模型提供服务。路由器会将每个请求发送到能够处理该请求的端点,把流量从遭遇 5xx 错误、限流和超时的目标转移开,通常在大约一分钟内开始生效。Salesforce 在数据驻留检查之后将其集成到内部网关中,因此带有驻留标签的请求会固定留在其所在区域的端点。

来源:AWS Machine Learning Blog · aws.amazon.com