ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงกำลังพัฒนา

SageMaker HyperPod Inference เพิ่มการรองรับ NVIDIA Dynamo แบบ managed

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 44 นาทีที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Amazon SageMaker HyperPod Inference รองรับ NVIDIA Dynamo แล้ว ช่วยให้ทีมสามารถรันการให้บริการแบบ multi-node, disaggregated prefill และ decode ด้วย KV-aware routing บน vLLM, SGLang หรือ TensorRT-LLM ส่วนเสริม HyperPod Inference จะติดตั้ง custom resource definitions ของ Dynamo รวมถึงคอมโพเนนต์ด้านการให้บริการและการจัดตาราง โดย vLLM เป็นเอนจินเริ่มต้น และรองรับทั้งการติดตั้งแบบ single-instance และ multi-node โดย HyperPod จะดูแลสุขภาพโหนดและการแทนที่โหนด การติดตั้งใช้งานสามารถใช้ DynamoGraphDeployment แบบ bring-your-own หรือ InferenceEndpointConfig ที่มี dynamoSpec ซึ่งเรียกใช้ผ่าน SageMaker endpoints AWS รายงานว่าการให้บริการแบบ disaggregated สำหรับ Qwen3-235B-A22B-FP8 ทำได้ 207 เทียบกับ 101 output tokens ต่อวินาทีต่อ GPU เมื่อเทียบกับการให้บริการแบบ aggregated และการติดตั้ง Qwen3.5-397B-A17B-FP8 แบบสองโหนดยังคงรักษา throughput ไว้ได้ 99.1 เปอร์เซ็นต์ของ single-node ตัวเลขเหล่านี้เป็นผลลัพธ์ที่ AWS รายงานเอง

สร้างจากรายงาน · อัปเดต 29 นาทีที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

18 พฤศจิกายน
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod Inference เพิ่มการรองรับ NVIDIA Dynamo แบบ managed

    Amazon SageMaker HyperPod Inference รองรับ NVIDIA Dynamo แล้ว ทำให้ทีมสามารถรันการให้บริการแบบ multi-node, disaggregated prefill และ decode พร้อมการกำหนดเส้นทางแบบ KV-aware บน vLLM, SGLang หรือ TensorRT-LLM AWS รายงานว่าการให้บริการแบบ disaggregated สำหรับ Qwen3-235B-A22B-FP8 ทำได้ 207 เทียบกับ 101 output tokens ต่อวินาทีต่อ GPU เมื่อเทียบกับการให้บริการแบบ aggregated และการติดตั้งใช้งาน Qwen3.5-397B-A17B-FP8 แบบสองโหนดยังคงรักษา 99.1 เปอร์เซ็นต์ของ throughput แบบโหนดเดียว การติดตั้งใช้งานสามารถใช้ DynamoGraphDeployment แบบ bring-your-own หรือ InferenceEndpointConfig ที่มี dynamoSpec ซึ่งเรียกใช้ผ่าน SageMaker endpoints

ความร้อนแรงของเหตุการณ์นี้

ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม