AWS Machine Learning Blog· Vinay Arora·· 53 นาทีที่แล้วคะแนน AI58
Amazon SageMaker HyperPod Inference เพิ่มการรองรับ NVIDIA Dynamo แบบ managed
Managed NVIDIA Dynamo on Amazon SageMaker HyperPod Inference
สรุปโดย AI
Amazon SageMaker HyperPod Inference รองรับ NVIDIA Dynamo แล้ว ทำให้ทีมสามารถรันการให้บริการแบบ multi-node, disaggregated prefill และ decode พร้อมการกำหนดเส้นทางแบบ KV-aware บน vLLM, SGLang หรือ TensorRT-LLM AWS รายงานว่าการให้บริการแบบ disaggregated สำหรับ Qwen3-235B-A22B-FP8 ทำได้ 207 เทียบกับ 101 output tokens ต่อวินาทีต่อ GPU เมื่อเทียบกับการให้บริการแบบ aggregated และการติดตั้งใช้งาน Qwen3.5-397B-A17B-FP8 แบบสองโหนดยังคงรักษา 99.1 เปอร์เซ็นต์ของ throughput แบบโหนดเดียว การติดตั้งใช้งานสามารถใช้ DynamoGraphDeployment แบบ bring-your-own หรือ InferenceEndpointConfig ที่มี dynamoSpec ซึ่งเรียกใช้ผ่าน SageMaker endpoints
แหล่งข่าว:AWS Machine Learning Blog · aws.amazon.com