AWS详解基于SageMaker HyperPod Data Capture的模型改进飞轮

AWS工程师展示了在单个SageMaker HyperPod集群上使用新的Data Capture能力实现的完整闭环，该能力在三个独立层级将实时推理输入和输出记录到Amazon S3。在演示中，一个Qwen2.5-3B-Instruct支持工单路由器未能识别新上线的空调产品线，Athena查询发现了这一盲点，一条SQL策略对捕获的工单重新标注，在第二块GPU上进行60秒的LoRA微调后，留出集准确率从83.9%提升至100%，且现有类别无性能回退。作者报告称，直接发送到vLLM的请求与通过捕获代理发送的请求之间没有可测量的延迟差异。