跳至正文
熱點事件持續更新

SageMaker HyperPod Inference 新增受管 NVIDIA Dynamo 支援

1 篇報導1 個報導來源45 分鐘前更新

先了解這件事

AI 綜述

Amazon SageMaker HyperPod Inference 現已支援 NVIDIA Dynamo,讓團隊能在 vLLM、SGLang 或 TensorRT-LLM 上,以具備 KV 感知路由的多節點、分離式 prefill 與 decode 服務方式執行。HyperPod Inference 附加元件會安裝 Dynamo 的自訂資源定義,以及服務與排程元件;vLLM 是預設引擎,且同時支援單一執行個體與多節點部署,並由 HyperPod 管理節點健康狀態與替換。部署可使用自帶的 DynamoGraphDeployment,或使用帶有 dynamoSpec 的 InferenceEndpointConfig,並透過 SageMaker 端點叫用。 AWS 表示,Qwen3-235B-A22B-FP8 的分離式服務達到每 GPU 每秒 207 個輸出 token,相較於聚合式服務的 101 個;而兩節點的 Qwen3.5-397B-A17B-FP8 部署則保留了單節點輸送量的 99.1%。這些數字是 AWS 自行回報的結果。

AI 依報導生成 · 30 分鐘前更新

報導時間線

沿著報導,了解事件的不同側面。

11月18日
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod Inference 新增託管 NVIDIA Dynamo 支援

    Amazon SageMaker HyperPod Inference 現已支援 NVIDIA Dynamo,讓團隊能在 vLLM、SGLang 或 TensorRT-LLM 上執行多節點、分離式 prefill 與 decode 服務,並具備 KV-aware 路由。AWS 表示,Qwen3-235B-A22B-FP8 的分離式服務達到每 GPU 每秒 207 個輸出 token,相較於聚合式服務的 101 個;而雙節點 Qwen3.5-397B-A17B-FP8 部署則保留了單節點吞吐量的 99.1%。部署可使用自帶的 DynamoGraphDeployment,或使用帶有 dynamoSpec 的 InferenceEndpointConfig,並透過 SageMaker 端點叫用。

本事件熱度走勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。