AWS 发布 SGLang-Neuron 插件，用于 Trainium 推理
先了解這件事
Amazon 宣布 SGLang-Neuron 正式开放使用，这是一个 out-of-tree 插件，可在 AWS Trainium 芯片上运行 SGLang 推理框架。该插件由 RadixArk 与 Annapurna Labs 共同发布，并通过 AWS Deep Learning Container 分发。用户保留相同的 SGLang 服务器接口与生成 API，而插件提供 Trainium 专用的模型、注意力、MoE，以及基于原生 PyTorch 和经 torch.compile 编译的 NKI 内核构建的 graph runner。 该插件还支持 PD 分离，通过 EFA 上的 NIXL 将 prefill KV cache 迁移到 decode 服务器。AWS 的演练在 Trainium3 EC2 实例上使用 pytorch-inference-sglang-neuronx 容器部署 openai/gpt-oss-120b，因此按照演练操作需要该实例类型和容器。
AI 依報導生成 · 更新
報導時間線
沿著報導，了解事件的不同側面。
- AWS Machine Learning BlogAWS 發布 SGLang-Neuron，可在 Trainium 上以原有 SGLang 介面部署前沿模型
Amazon 宣布 SGLang-Neuron 正式公開可用，這是一個 out-of-tree 外掛，透過 AWS Deep Learning Container 在 AWS Trainium 上執行 SGLang，由 RadixArk 與 Annapurna Labs 發布。使用者維持相同的 SGLang 伺服器介面與生成 API，而此外掛提供 Trainium 專屬的模型、注意力、MoE，以及建構於原生 PyTorch 與 NKI 核心之上、以 torch.compile 編譯的 graph runner。它也支援 PD 分離，透過 EFA 上的 NIXL 將 prefill KV 快取傳輸到 decode 伺服器，而操作說明則在 Trainium3 EC2 執行個體上以 pytorch-inference-sglang-neuronx 容器提供 openai/gpt-oss-120b 的服務。
本事件熱度走勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。