Amazon SageMaker HyperPod Inference bổ sung hỗ trợ NVIDIA Dynamo được quản lý
Bắt đầu từ đây
Amazon SageMaker HyperPod Inference hiện hỗ trợ NVIDIA Dynamo, cho phép các nhóm chạy phục vụ prefill và decode phân tách, đa nút với định tuyến nhận biết KV trên vLLM, SGLang hoặc TensorRT-LLM. Tiện ích bổ sung HyperPod Inference cài đặt các định nghĩa tài nguyên tùy chỉnh của Dynamo cùng các thành phần phục vụ và lập lịch; vLLM là engine mặc định, và cả triển khai một phiên bản lẫn đa nút đều được hỗ trợ, với HyperPod quản lý tình trạng và thay thế nút. Các triển khai có thể dùng DynamoGraphDeployment tự mang theo hoặc InferenceEndpointConfig với dynamoSpec, được gọi qua các endpoint của SageMaker. AWS báo cáo rằng phục vụ phân tách cho Qwen3-235B-A22B-FP8 đạt 207 so với 101 token đầu ra mỗi giây trên mỗi GPU khi so với phục vụ tổng hợp, và một triển khai Qwen3.5-397B-A17B-FP8 hai nút giữ được 99,1 phần trăm thông lượng một nút. Những con số này là kết quả do chính AWS báo cáo.
Tạo từ các bài viết · cập nhật 29 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAmazon SageMaker HyperPod Inference bổ sung hỗ trợ NVIDIA Dynamo được quản lý
Amazon SageMaker HyperPod Inference hiện hỗ trợ NVIDIA Dynamo, cho phép các nhóm chạy phục vụ đa nút, tách rời prefill và decode với định tuyến nhận biết KV trên vLLM, SGLang hoặc TensorRT-LLM. AWS báo cáo rằng phục vụ tách rời cho Qwen3-235B-A22B-FP8 đạt 207 so với 101 token đầu ra mỗi giây trên mỗi GPU so với phục vụ tổng hợp, và triển khai Qwen3.5-397B-A17B-FP8 hai nút giữ được 99,1 phần trăm thông lượng một nút. Triển khai có thể sử dụng DynamoGraphDeployment tự mang hoặc InferenceEndpointConfig với dynamoSpec, được gọi qua các endpoint SageMaker.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.