Tới nội dung
AWS Machine Learning Blog· Hazim Qudah·· 2 giờ trướcĐiểm AI55

Amazon SageMaker AI bổ sung giám sát mặc định cho độ lệch độ trễ, GPU nhàn rỗi và các tối ưu hóa bị bỏ lỡ trên các endpoint suy luận

Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints

Tóm tắt bằng AI

Amazon SageMaker AI hiện giám sát mặc định các endpoint suy luận AI tạo sinh đối với các endpoint sử dụng container phục vụ vLLM và instance GPU, đánh dấu độ lệch độ trễ, GPU được sử dụng dưới mức, thiếu giải mã suy đoán, container phục vụ lỗi thời và nhân GPU chưa được tinh chỉnh. Các phát hiện đến dưới dạng thông báo AWS Health, và một lựa chọn sẽ mở trải nghiệm tác tử trong SageMaker Studio để đánh giá chuẩn các phương án thay thế trên compute riêng biệt dựa trên thời gian phản hồi, thông lượng và chi phí trên mỗi triệu token. Giám sát chỉ đọc độ trễ, mức sử dụng GPU và cấu hình phục vụ, không tốn chi phí GPU và có thể từ chối tham gia theo từng endpoint thông qua biến môi trường OPT_OUT_TRACKING.

Nguồn:AWS Machine Learning Blog · aws.amazon.com