Tới nội dung
Sự việc nóngĐang diễn ra

Amazon SageMaker HyperPod Inference bổ sung hỗ trợ NVIDIA Dynamo được quản lý

1 bài viết1 nguồn đưa tinCập nhật 45 phút trước

Bắt đầu từ đây

Tóm tắt AI

Amazon SageMaker HyperPod Inference hiện hỗ trợ NVIDIA Dynamo, cho phép các nhóm chạy phục vụ prefill và decode phân tách, đa nút với định tuyến nhận biết KV trên vLLM, SGLang hoặc TensorRT-LLM. Tiện ích bổ sung HyperPod Inference cài đặt các định nghĩa tài nguyên tùy chỉnh của Dynamo cùng các thành phần phục vụ và lập lịch; vLLM là engine mặc định, và cả triển khai một phiên bản lẫn đa nút đều được hỗ trợ, với HyperPod quản lý tình trạng và thay thế nút. Các triển khai có thể dùng DynamoGraphDeployment tự mang theo hoặc InferenceEndpointConfig với dynamoSpec, được gọi qua các endpoint của SageMaker. AWS báo cáo rằng phục vụ phân tách cho Qwen3-235B-A22B-FP8 đạt 207 so với 101 token đầu ra mỗi giây trên mỗi GPU khi so với phục vụ tổng hợp, và một triển khai Qwen3.5-397B-A17B-FP8 hai nút giữ được 99,1 phần trăm thông lượng một nút. Những con số này là kết quả do chính AWS báo cáo.

Tạo từ các bài viết · cập nhật 29 phút trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. AWS Machine Learning Blog
    Amazon SageMaker HyperPod Inference bổ sung hỗ trợ NVIDIA Dynamo được quản lý

    Amazon SageMaker HyperPod Inference hiện hỗ trợ NVIDIA Dynamo, cho phép các nhóm chạy phục vụ đa nút, tách rời prefill và decode với định tuyến nhận biết KV trên vLLM, SGLang hoặc TensorRT-LLM. AWS báo cáo rằng phục vụ tách rời cho Qwen3-235B-A22B-FP8 đạt 207 so với 101 token đầu ra mỗi giây trên mỗi GPU so với phục vụ tổng hợp, và triển khai Qwen3.5-397B-A17B-FP8 hai nút giữ được 99,1 phần trăm thông lượng một nút. Triển khai có thể sử dụng DynamoGraphDeployment tự mang hoặc InferenceEndpointConfig với dynamoSpec, được gọi qua các endpoint SageMaker.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.