AWS 将跨区域推理路由引入 SageMaker AI
先了解这件事
AWS 在 Amazon SageMaker AI 中发布跨区域推理路由,作为一种新的推理路由器资源,为应用程序提供跨多个 AWS 区域和账户中的端点与推理组件的单一调用路径。该路由器优先选择自身所在区域的目标,当本地目标故障时将新请求转移到其他位置,仅当模型未运行时才对实时请求重试一次,并在恢复后逐步回切流量。 AWS 表示,该功能已在大多数商业区域正式可用(me-south-1 和 me-central-1 除外),支持实时和异步推理,路由本身不额外收费;客户仍需按标准 SageMaker AI 定价为处理请求的端点和推理组件付费,并按标准 CloudWatch 费率支付路由器指标费用。不支持响应流式传输,实时请求必须在大约一分钟内完成。客户可以在接收端点的 CrossRegionTrafficConfig 中将远程流量限制为每实例请求速率以及远程流量可使用的端点容量最大份额;本地流量不计入该上限。 Salesforce 的 Agentforce Foundation 团队表示,他们采用该路由在 30 多个区域和数百个 AWS 账户中服务内部模型和开源模型,并将其置于数据驻留检查之后的 Internal Gateway 中,使带有驻留标签的请求始终固定在其所在区域的端点。
AI 根据报道生成 · 46 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AWS Machine Learning BlogAmazon SageMaker AI 为端点和推理组件推出跨区域推理路由
Amazon SageMaker AI 推出了跨区域推理路由,这是一种新的推理路由器资源,为应用程序提供一条调用路径,可跨多个 AWS 区域和账户中的端点和推理组件进行调用。该路由器优先选择其所在区域内的目标,当本地目标发生故障时会将新请求转移到其他位置,仅当模型未运行时才对实时请求重试一次,并在恢复后逐步恢复流量。该功能已在大多数商业 AWS 区域正式可用,但 me-south-1 和 me-central-1 除外,路由本身不收取额外费用;不支持响应流式传输,实时请求必须在大约一分钟内完成。
- AWS Machine Learning BlogSalesforce 借助 Amazon SageMaker AI 中的跨区域推理路由扩展全球模型服务
Salesforce 的 Agentforce Foundation 团队采用了 Amazon SageMaker AI 中的跨区域推理路由,在 30 多个全球区域和数百个 AWS 账户中为自研模型和开源模型提供服务。路由器会将每个请求发送到能够处理该请求的端点,把流量从遭遇 5xx 错误、限流和超时的目标转移开,通常在大约一分钟内开始生效。Salesforce 在数据驻留检查之后将其集成到内部网关中,因此带有驻留标签的请求会固定留在其所在区域的端点。
本事件热度走势
- 可比范围当前
- 10
- 可比范围峰值
- 1011月20日 03:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。