SageMaker AI bổ sung tính năng giám sát độ lệch mặc định cho các endpoint suy luận
Bắt đầu từ đây
Amazon SageMaker AI hiện giám sát mặc định các endpoint suy luận AI tạo sinh, đánh dấu độ lệch độ trễ, GPU sử dụng chưa hết công suất, thiếu giải mã suy đoán, container phục vụ lỗi thời và nhân GPU chưa được tinh chỉnh. Tính năng giám sát áp dụng cho các endpoint sử dụng container phục vụ vLLM trên các instance GPU và không cần thiết lập; người dùng có thể từ chối theo từng endpoint bằng cách đặt biến môi trường OPT_OUT_TRACKING trên container của mô hình. Các phát hiện được gửi đến dưới dạng thông báo AWS Health. Từ một thông báo, người dùng có thể mở trải nghiệm tác tử trong SageMaker Studio để đánh giá chuẩn các phương án thay thế trên compute riêng biệt dựa trên thời gian phản hồi, thông lượng và chi phí trên mỗi triệu token. Theo AWS, bản thân việc giám sát không phát sinh chi phí GPU, trong khi việc đánh giá chuẩn được tính theo mức giá tiêu chuẩn của SageMaker AI hoặc trích từ một đặt trước ML hiện có.
Tạo từ các bài viết · cập nhật 2 giờ trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAmazon SageMaker AI bổ sung giám sát mặc định cho độ lệch độ trễ, GPU nhàn rỗi và các tối ưu hóa bị bỏ lỡ trên các endpoint suy luận
Amazon SageMaker AI hiện giám sát mặc định các endpoint suy luận AI tạo sinh đối với các endpoint sử dụng container phục vụ vLLM và instance GPU, đánh dấu độ lệch độ trễ, GPU được sử dụng dưới mức, thiếu giải mã suy đoán, container phục vụ lỗi thời và nhân GPU chưa được tinh chỉnh. Các phát hiện đến dưới dạng thông báo AWS Health, và một lựa chọn sẽ mở trải nghiệm tác tử trong SageMaker Studio để đánh giá chuẩn các phương án thay thế trên compute riêng biệt dựa trên thời gian phản hồi, thông lượng và chi phí trên mỗi triệu token. Giám sát chỉ đọc độ trễ, mức sử dụng GPU và cấu hình phục vụ, không tốn chi phí GPU và có thể từ chối tham gia theo từng endpoint thông qua biến môi trường OPT_OUT_TRACKING.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.