AWS trình bày chi tiết vòng quay cải thiện mô hình với SageMaker HyperPod Data Capture

Các kỹ sư AWS trình diễn một vòng lặp hoàn chỉnh trên một cụm SageMaker HyperPod duy nhất bằng khả năng Data Capture mới, ghi lại đầu vào và đầu ra suy luận trực tiếp vào Amazon S3 ở ba tầng độc lập. Trong phần trình diễn, một bộ định tuyến phiếu hỗ trợ Qwen2.5-3B-Instruct bỏ sót một dòng máy điều hòa mới ra mắt, các truy vấn Athena phát hiện điểm mù, một chính sách SQL gán nhãn lại các phiếu đã ghi, và một lần tinh chỉnh LoRA 60 giây trên GPU thứ hai nâng độ chính xác trên tập giữ lại từ 83,9% lên 100% mà không có hồi quy trên các danh mục hiện có. Các tác giả báo cáo không có khác biệt độ trễ đo được giữa các yêu cầu gửi trực tiếp đến vLLM và qua proxy ghi nhận.