AWS 演示 SageMaker HyperPod Data Capture 飞轮

AWS 工程师发布了一篇演练文章，介绍完全在一个 SageMaker HyperPod 集群上运行的模型改进闭环，使用新的 Data Capture 能力，该能力将实时推理输入和输出按三个独立层级记录到 Amazon S3。在示例中，一个 Qwen2.5-3B-Instruct 支持工单路由器将新推出的空调产品线的工单错误路由；Athena 查询发现了这一缺口，一条 SQL 策略对捕获的工单重新标注，在第二块 GPU 上进行 60 秒的 LoRA 微调，将留出准确率从 83.9% 提升到 100%，且未使现有类别出现回退。作者报告称，直接发送到 vLLM 的请求与通过捕获代理路由的请求之间没有可测量的延迟差异。 Data Capture 现已在运行推理算子的 HyperPod 集群上可用；用户通过在其 InferenceEndpointConfig 或 JumpStartModel 资源中添加 dataCapture 部分来启用它。在同一集群上闭环还需要添加 amazon-sagemaker-hyperpod-training-operator EKS 附加组件。训练作业在启动时安装三个 Python 包，训练节点需要出站互联网访问（例如通过 NAT 网关），从 Docker Hub 拉取 vllm/vllm-openai 镜像同样需要。

AI 根据报道生成 · 42 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。