Tới nội dung
AWS Machine Learning Blog· Vinay Arora·· 53 phút trướcĐiểm AI58

Amazon SageMaker HyperPod Inference bổ sung hỗ trợ NVIDIA Dynamo được quản lý

Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference

Tóm tắt bằng AI

Amazon SageMaker HyperPod Inference hiện hỗ trợ NVIDIA Dynamo, cho phép các nhóm chạy phục vụ đa nút, tách rời prefill và decode với định tuyến nhận biết KV trên vLLM, SGLang hoặc TensorRT-LLM. AWS báo cáo rằng phục vụ tách rời cho Qwen3-235B-A22B-FP8 đạt 207 so với 101 token đầu ra mỗi giây trên mỗi GPU so với phục vụ tổng hợp, và triển khai Qwen3.5-397B-A17B-FP8 hai nút giữ được 99,1 phần trăm thông lượng một nút. Triển khai có thể sử dụng DynamoGraphDeployment tự mang hoặc InferenceEndpointConfig với dynamoSpec, được gọi qua các endpoint SageMaker.

Nguồn:AWS Machine Learning Blog · aws.amazon.com