Tới nội dung
Sự việc nóngĐang diễn ra

AWS mang tính năng định tuyến suy luận xuyên Vùng đến SageMaker AI

2 bài viết1 nguồn đưa tinCập nhật 53 phút trước

Bắt đầu từ đây

Tóm tắt AI

AWS đã phát hành tính năng định tuyến suy luận xuyên Vùng trong Amazon SageMaker AI dưới dạng một tài nguyên bộ định tuyến suy luận mới, cung cấp cho ứng dụng một đường gọi duy nhất xuyên các endpoint và thành phần suy luận ở nhiều Vùng và tài khoản AWS. Bộ định tuyến ưu tiên các đích trong cùng Vùng của nó, chuyển các yêu cầu mới sang nơi khác khi các đích cục bộ gặp sự cố, chỉ thử lại một yêu cầu thời gian thực một lần nếu mô hình chưa chạy, và khôi phục lưu lượng dần dần sau khi hồi phục. AWS cho biết tính năng này đã được phát hành chính thức tại hầu hết các Vùng thương mại, trừ me-south-1 và me-central-1, cho suy luận thời gian thực và bất đồng bộ, không tính thêm phí cho bản thân việc định tuyến; khách hàng vẫn trả theo giá tiêu chuẩn của SageMaker AI cho các endpoint và thành phần suy luận phục vụ yêu cầu, và theo mức giá CloudWatch tiêu chuẩn cho các chỉ số của bộ định tuyến. Không hỗ trợ truyền phát phản hồi, và các yêu cầu thời gian thực phải hoàn tất trong khoảng một phút. Khách hàng có thể giới hạn lưu lượng từ xa trong CrossRegionTrafficConfig của endpoint nhận, dưới dạng tốc độ yêu cầu trên mỗi phiên bản và tỷ lệ lớn nhất trong công suất endpoint mà lưu lượng từ xa có thể sử dụng; lưu lượng cục bộ không bao giờ bị tính vào giới hạn này. Nhóm Agentforce Foundation của Salesforce cho biết họ đã áp dụng tính năng định tuyến này để phục vụ các mô hình nội bộ và mã nguồn mở trên hơn 30 Vùng và hàng trăm tài khoản AWS, đặt nó trong Internal Gateway của mình sau bước kiểm tra lưu trú dữ liệu để các yêu cầu được gắn thẻ lưu trú vẫn được ghim vào endpoint trong Vùng của chúng.

Tạo từ các bài viết · cập nhật 44 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

20 tháng 11
  1. AWS Machine Learning Blog
    Amazon SageMaker AI ra mắt định tuyến suy luận xuyên Vùng cho endpoint và thành phần suy luận

    Amazon SageMaker AI đã giới thiệu định tuyến suy luận xuyên Vùng, một tài nguyên bộ định tuyến suy luận mới cho phép ứng dụng có một đường gọi duy nhất xuyên các endpoint và thành phần suy luận ở nhiều Vùng và tài khoản AWS. Bộ định tuyến ưu tiên các đích trong cùng Vùng của nó, chuyển các yêu cầu mới sang nơi khác khi các đích cục bộ gặp sự cố, chỉ thử lại một yêu cầu thời gian thực đúng một lần khi mô hình chưa chạy, và trả lưu lượng về dần dần sau khi phục hồi. Tính năng này được cung cấp rộng rãi ở hầu hết các Vùng thương mại của AWS trừ me-south-1 và me-central-1, không tính thêm phí cho bản thân việc định tuyến; không hỗ trợ truyền phát phản hồi và các yêu cầu thời gian thực phải hoàn tất trong khoảng một phút.

19 tháng 11
  1. AWS Machine Learning Blog
    Salesforce mở rộng phục vụ mô hình toàn cầu với định tuyến suy luận xuyên Vùng trong Amazon SageMaker AI

    Nhóm Agentforce Foundation của Salesforce đã áp dụng định tuyến suy luận xuyên Vùng trong Amazon SageMaker AI để phục vụ các mô hình nội bộ và mã nguồn mở trên hơn 30 Vùng toàn cầu và hàng trăm tài khoản AWS. Bộ định tuyến gửi mỗi yêu cầu đến một endpoint có thể phục vụ nó, chuyển lưu lượng khỏi các đích bị ảnh hưởng bởi lỗi 5xx, giới hạn tần suất và hết thời gian chờ, thường bắt đầu trong khoảng một phút. Salesforce đã tích hợp nó vào Internal Gateway sau bước kiểm tra lưu trú dữ liệu, nhờ đó các yêu cầu được gắn thẻ lưu trú vẫn được ghim vào endpoint trong Vùng của chúng.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
10
Đỉnh, trong khoảng so sánh được
1020 tháng 11 03:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.