AWS 發布 SGLang-Neuron，可在 Trainium 上以原有 SGLang 介面部署前沿模型

Amazon 宣布 SGLang-Neuron 正式公開可用，這是一個 out-of-tree 外掛，透過 AWS Deep Learning Container 在 AWS Trainium 上執行 SGLang，由 RadixArk 與 Annapurna Labs 發布。使用者維持相同的 SGLang 伺服器介面與生成 API，而此外掛提供 Trainium 專屬的模型、注意力、MoE，以及建構於原生 PyTorch 與 NKI 核心之上、以 torch.compile 編譯的 graph runner。它也支援 PD 分離，透過 EFA 上的 NIXL 將 prefill KV 快取傳輸到 decode 伺服器，而操作說明則在 Trainium3 EC2 執行個體上以 pytorch-inference-sglang-neuronx 容器提供 openai/gpt-oss-120b 的服務。