AWS phát hành SGLang-Neuron, cho phép triển khai các mô hình tiên tiến trên Trainium với giao diện SGLang hiện có

Amazon đã công bố tính khả dụng công khai của SGLang-Neuron, một plugin out-of-tree chạy SGLang trên AWS Trainium thông qua AWS Deep Learning Container, được phát hành bởi RadixArk cùng Annapurna Labs. Người dùng giữ nguyên giao diện máy chủ SGLang và các API sinh, trong khi plugin cung cấp các mô hình, attention, MoE dành riêng cho Trainium và một graph runner được xây dựng trên các kernel PyTorch và NKI gốc được biên dịch bằng torch.compile. Nó cũng hỗ trợ PD disaggregation, chuyển bộ nhớ đệm KV prefill sang máy chủ decode qua NIXL trên EFA, và hướng dẫn thực hành phục vụ openai/gpt-oss-120b trên một phiên bản EC2 Trainium3 với container pytorch-inference-sglang-neuronx.