AWS 示範 SageMaker HyperPod Data Capture 飛輪
先了解這件事
AWS 工程師發表了一份演練說明，介紹一套完全在單一 SageMaker HyperPod 叢集上執行的模型改進迴圈，採用全新的 Data Capture 功能，該功能會將即時的推論輸入與輸出，以三個獨立層級記錄到 Amazon S3。在範例中，一個 Qwen2.5-3B-Instruct 支援工單路由器，會將新推出空調產品線的工單分派錯誤；Athena 查詢找出這個缺口，SQL 政策重新標註擷取到的工單，接著在第二顆 GPU 上進行 60 秒的 LoRA 微調，將留出準確率從 83.9% 提升到 100%，且既有類別沒有退步。作者回報，直接送往 vLLM 的請求與經由擷取代理路由的請求之間，沒有可量測的延遲差異。 Data Capture 即日起可在執行推論 operator 的 HyperPod 叢集上使用；使用者可透過在 InferenceEndpointConfig 或 JumpStartModel 資源中新增 dataCapture 區段來啟用。若要在同一個叢集上完成整個迴圈，則需新增 amazon-sagemaker-hyperpod-training-operator EKS add-on。訓練作業會在啟動時安裝三個 Python 套件，且訓練節點需要對外網際網路存取，例如透過 NAT gateway，從 Docker Hub 拉取 vllm/vllm-openai 映像檔時也是如此。
AI 依報導生成 · 42 分鐘前更新
報導時間線
沿著報導，了解事件的不同側面。
- AWS Machine Learning BlogAWS 詳解以 SageMaker HyperPod Data Capture 打造模型改進飛輪
AWS 工程師在單一 SageMaker HyperPod 叢集上，利用全新的 Data Capture 功能示範了一套完整的迴圈；此功能會將即時推論的輸入與輸出，分三個獨立層級記錄至 Amazon S3。在這次實作導覽中，一個 Qwen2.5-3B-Instruct 客服工單分流器漏掉了新上市的冷氣產品線，Athena 查詢揭露了這個盲點，一條 SQL 規則為擷取到的工單重新標註，接著在第二顆 GPU 上進行 60 秒的 LoRA 微調，將留出集準確率從 83.9% 提升到 100%，且既有類別沒有出現退步。作者表示，直接送往 vLLM 的請求與透過擷取代理的請求之間，延遲沒有可量測的差異。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。