AWS Machine Learning Blog· Dmitry Soldatkin·· 1 小时前AI 评分58
Amazon SageMaker AI 为端点和推理组件推出跨区域推理路由
Keep inference running through regional capacity shortfalls with cross-Region inference routing in Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 推出了跨区域推理路由,这是一种新的推理路由器资源,为应用程序提供一条调用路径,可跨多个 AWS 区域和账户中的端点和推理组件进行调用。该路由器优先选择其所在区域内的目标,当本地目标发生故障时会将新请求转移到其他位置,仅当模型未运行时才对实时请求重试一次,并在恢复后逐步恢复流量。该功能已在大多数商业 AWS 区域正式可用,但 me-south-1 和 me-central-1 除外,路由本身不收取额外费用;不支持响应流式传输,实时请求必须在大约一分钟内完成。
来源:AWS Machine Learning Blog · aws.amazon.com