AWS Machine Learning Blog· Vinay Arora·· 53 分钟前AI 评分58
Amazon SageMaker HyperPod Inference 新增托管 NVIDIA Dynamo 支持
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
AI 导读
Amazon SageMaker HyperPod Inference 现已支持 NVIDIA Dynamo,让团队能够在 vLLM、SGLang 或 TensorRT-LLM 上运行多节点、分离式 prefill 与 decode 服务,并支持 KV 感知路由。AWS 报告称,Qwen3-235B-A22B-FP8 的分离式服务达到每 GPU 每秒 207 个输出 token,而聚合式服务为 101 个;两节点 Qwen3.5-397B-A17B-FP8 部署保留了单节点吞吐量的 99.1%。部署可使用自带的 DynamoGraphDeployment,或使用带 dynamoSpec 的 InferenceEndpointConfig,并通过 SageMaker 端点调用。
来源:AWS Machine Learning Blog · aws.amazon.com