热点事件持续更新

AWS 发布 SGLang-Neuron 插件，用于 Trainium 推理

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

Amazon 宣布 SGLang-Neuron 正式公开可用，这是一个 out-of-tree 插件，可在 AWS Trainium 芯片上运行 SGLang 推理框架。该插件由 RadixArk 与 Annapurna Labs 共同发布，通过 AWS Deep Learning Container 分发。用户保留相同的 SGLang 服务器接口和生成 API，而插件提供 Trainium 专用的模型、注意力、MoE 以及基于原生 PyTorch 和经 torch.compile 编译的 NKI 内核构建的图运行器。该插件还支持 PD 分离，通过 EFA 上的 NIXL 将 prefill KV 缓存迁移到 decode 服务器。AWS 的演练在 Trainium3 EC2 实例上使用 pytorch-inference-sglang-neuronx 容器服务 openai/gpt-oss-120b，因此按照该演练操作需要相应的实例类型和容器。

AI 根据报道生成 · 更新

最新进展11月13日 06:03

AWS 发布 SGLang-Neuron，可在 Trainium 上以原有 SGLang 接口部署前沿模型

报道时间线

沿着报道，了解事件的不同侧面。

11月13日

06:03
AWS Machine Learning Blog
AWS 发布 SGLang-Neuron，可在 Trainium 上以原有 SGLang 接口部署前沿模型
Amazon 宣布 SGLang-Neuron 正式公开可用。这是一个 out-of-tree 插件，通过 AWS Deep Learning Container 在 AWS Trainium 上运行 SGLang，由 RadixArk 与 Annapurna Labs 发布。用户保留相同的 SGLang 服务器接口和生成 API，而该插件提供 Trainium 专用模型、注意力、MoE，以及一个基于原生 PyTorch 和 NKI 内核、经 torch.compile 编译的图运行器。它还支持 PD 分离，通过 EFA 上的 NIXL 将 prefill KV 缓存传输到 decode 服务器；演练使用 pytorch-inference-sglang-neuronx 容器在 Trainium3 EC2 实例上服务 openai/gpt-oss-120b。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。