AWS Machine Learning Blog· Vinay Arora·· 53 分鐘前AI 評分58
Amazon SageMaker HyperPod Inference 新增託管 NVIDIA Dynamo 支援
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 導讀
Amazon SageMaker HyperPod Inference 現已支援 NVIDIA Dynamo,讓團隊能在 vLLM、SGLang 或 TensorRT-LLM 上執行多節點、分離式 prefill 與 decode 服務,並具備 KV-aware 路由。AWS 表示,Qwen3-235B-A22B-FP8 的分離式服務達到每 GPU 每秒 207 個輸出 token,相較於聚合式服務的 101 個;而雙節點 Qwen3.5-397B-A17B-FP8 部署則保留了單節點吞吐量的 99.1%。部署可使用自帶的 DynamoGraphDeployment,或使用帶有 dynamoSpec 的 InferenceEndpointConfig,並透過 SageMaker 端點叫用。
來源:AWS Machine Learning Blog · aws.amazon.com