AWS 发布 SGLang-Neuron,可在 Trainium 上以原有 SGLang 接口部署前沿模型
Amazon 宣布 SGLang-Neuron 正式公开可用。这是一个 out-of-tree 插件,通过 AWS Deep Learning Container 在 AWS Trainium 上运行 SGLang,由 RadixArk 与 Annapurna Labs 发布。用户保留相同的 SGLang 服务器接口和生成 API,而该插件提供 Trainium 专用模型、注意力、MoE,以及一个基于原生 PyTorch 和 NKI 内核、经 torch.compile 编译的图运行器。它还支持 PD 分离,通过 EFA 上的 NIXL 将 prefill KV 缓存传输到 decode 服务器;演练使用 pytorch-inference-sglang-neuronx 容器在 Trainium3 EC2 实例上服务 openai/gpt-oss-120b。