SageMaker HyperPod Inference เพิ่มการรองรับ NVIDIA Dynamo แบบ managed
เริ่มตรงนี้
Amazon SageMaker HyperPod Inference รองรับ NVIDIA Dynamo แล้ว ช่วยให้ทีมสามารถรันการให้บริการแบบ multi-node, disaggregated prefill และ decode ด้วย KV-aware routing บน vLLM, SGLang หรือ TensorRT-LLM ส่วนเสริม HyperPod Inference จะติดตั้ง custom resource definitions ของ Dynamo รวมถึงคอมโพเนนต์ด้านการให้บริการและการจัดตาราง โดย vLLM เป็นเอนจินเริ่มต้น และรองรับทั้งการติดตั้งแบบ single-instance และ multi-node โดย HyperPod จะดูแลสุขภาพโหนดและการแทนที่โหนด การติดตั้งใช้งานสามารถใช้ DynamoGraphDeployment แบบ bring-your-own หรือ InferenceEndpointConfig ที่มี dynamoSpec ซึ่งเรียกใช้ผ่าน SageMaker endpoints AWS รายงานว่าการให้บริการแบบ disaggregated สำหรับ Qwen3-235B-A22B-FP8 ทำได้ 207 เทียบกับ 101 output tokens ต่อวินาทีต่อ GPU เมื่อเทียบกับการให้บริการแบบ aggregated และการติดตั้ง Qwen3.5-397B-A17B-FP8 แบบสองโหนดยังคงรักษา throughput ไว้ได้ 99.1 เปอร์เซ็นต์ของ single-node ตัวเลขเหล่านี้เป็นผลลัพธ์ที่ AWS รายงานเอง
สร้างจากรายงาน · อัปเดต 29 นาทีที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAmazon SageMaker HyperPod Inference เพิ่มการรองรับ NVIDIA Dynamo แบบ managed
Amazon SageMaker HyperPod Inference รองรับ NVIDIA Dynamo แล้ว ทำให้ทีมสามารถรันการให้บริการแบบ multi-node, disaggregated prefill และ decode พร้อมการกำหนดเส้นทางแบบ KV-aware บน vLLM, SGLang หรือ TensorRT-LLM AWS รายงานว่าการให้บริการแบบ disaggregated สำหรับ Qwen3-235B-A22B-FP8 ทำได้ 207 เทียบกับ 101 output tokens ต่อวินาทีต่อ GPU เมื่อเทียบกับการให้บริการแบบ aggregated และการติดตั้งใช้งาน Qwen3.5-397B-A17B-FP8 แบบสองโหนดยังคงรักษา 99.1 เปอร์เซ็นต์ของ throughput แบบโหนดเดียว การติดตั้งใช้งานสามารถใช้ DynamoGraphDeployment แบบ bring-your-own หรือ InferenceEndpointConfig ที่มี dynamoSpec ซึ่งเรียกใช้ผ่าน SageMaker endpoints
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม