AWS 詳解以 SageMaker HyperPod Data Capture 打造模型改進飛輪

AWS 工程師在單一 SageMaker HyperPod 叢集上，利用全新的 Data Capture 功能示範了一套完整的迴圈；此功能會將即時推論的輸入與輸出，分三個獨立層級記錄至 Amazon S3。在這次實作導覽中，一個 Qwen2.5-3B-Instruct 客服工單分流器漏掉了新上市的冷氣產品線，Athena 查詢揭露了這個盲點，一條 SQL 規則為擷取到的工單重新標註，接著在第二顆 GPU 上進行 60 秒的 LoRA 微調，將留出集準確率從 83.9% 提升到 100%，且既有類別沒有出現退步。作者表示，直接送往 vLLM 的請求與透過擷取代理的請求之間，延遲沒有可量測的差異。