AWS trình diễn flywheel Data Capture của SageMaker HyperPod
Bắt đầu từ đây
Các kỹ sư AWS đã công bố bài hướng dẫn về một vòng cải thiện mô hình chạy hoàn toàn trên một cụm SageMaker HyperPod, sử dụng tính năng Data Capture mới, tính năng này ghi lại đầu vào và đầu ra suy luận trực tiếp vào Amazon S3 ở ba tầng độc lập. Trong ví dụ, một bộ định tuyến phiếu hỗ trợ Qwen2.5-3B-Instruct định tuyến sai phiếu cho một dòng máy điều hòa mới ra mắt; các truy vấn Athena phát hiện khoảng trống, một chính sách SQL gán nhãn lại các phiếu đã ghi, và một lần tinh chỉnh LoRA 60 giây trên GPU thứ hai nâng độ chính xác trên tập giữ lại từ 83.9% lên 100% mà không làm giảm chất lượng các danh mục hiện có. Các tác giả báo cáo không có khác biệt độ trễ đo được giữa các yêu cầu gửi trực tiếp đến vLLM và các yêu cầu được định tuyến qua proxy ghi nhận. Data Capture hiện đã có sẵn trên các cụm HyperPod chạy inference operator; người dùng bật nó bằng cách thêm phần dataCapture vào tài nguyên InferenceEndpointConfig hoặc JumpStartModel của họ. Để khép kín vòng lặp trên cùng một cụm, cần thêm add-on EKS amazon-sagemaker-hyperpod-training-operator. Công việc huấn luyện cài đặt ba gói Python khi khởi động, và nút huấn luyện cần quyền truy cập internet ra ngoài, ví dụ qua NAT gateway, cũng như cần thiết để kéo image vllm/vllm-openai từ Docker Hub.
Tạo từ các bài viết · cập nhật 42 phút trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAWS trình bày chi tiết vòng quay cải thiện mô hình với SageMaker HyperPod Data Capture
Các kỹ sư AWS trình diễn một vòng lặp hoàn chỉnh trên một cụm SageMaker HyperPod duy nhất bằng khả năng Data Capture mới, ghi lại đầu vào và đầu ra suy luận trực tiếp vào Amazon S3 ở ba tầng độc lập. Trong phần trình diễn, một bộ định tuyến phiếu hỗ trợ Qwen2.5-3B-Instruct bỏ sót một dòng máy điều hòa mới ra mắt, các truy vấn Athena phát hiện điểm mù, một chính sách SQL gán nhãn lại các phiếu đã ghi, và một lần tinh chỉnh LoRA 60 giây trên GPU thứ hai nâng độ chính xác trên tập giữ lại từ 83,9% lên 100% mà không có hồi quy trên các danh mục hiện có. Các tác giả báo cáo không có khác biệt độ trễ đo được giữa các yêu cầu gửi trực tiếp đến vLLM và qua proxy ghi nhận.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.