AWS phát hành plugin SGLang-Neuron cho suy luận trên Trainium
Bắt đầu từ đây
Amazon công bố SGLang-Neuron được phát hành công khai, một plugin out-of-tree chạy framework suy luận SGLang trên chip AWS Trainium. Nó được RadixArk phát hành cùng Annapurna Labs và được phân phối qua AWS Deep Learning Container. Người dùng giữ nguyên giao diện server SGLang và các API sinh, trong khi plugin cung cấp các mô hình, attention, MoE và một graph runner dành riêng cho Trainium được xây dựng trên các kernel PyTorch và NKI gốc, biên dịch bằng torch.compile. Plugin cũng hỗ trợ PD disaggregation, chuyển KV cache prefill sang một decode server qua NIXL trên EFA. Hướng dẫn của AWS phục vụ openai/gpt-oss-120b trên một instance EC2 Trainium3 bằng container pytorch-inference-sglang-neuronx, vì vậy để làm theo cần loại instance và container đó.
Tạo từ các bài viết · cập nhật
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- AWS Machine Learning BlogAWS phát hành SGLang-Neuron, cho phép triển khai các mô hình tiên tiến trên Trainium với giao diện SGLang hiện có
Amazon đã công bố tính khả dụng công khai của SGLang-Neuron, một plugin out-of-tree chạy SGLang trên AWS Trainium thông qua AWS Deep Learning Container, được phát hành bởi RadixArk cùng Annapurna Labs. Người dùng giữ nguyên giao diện máy chủ SGLang và các API sinh, trong khi plugin cung cấp các mô hình, attention, MoE dành riêng cho Trainium và một graph runner được xây dựng trên các kernel PyTorch và NKI gốc được biên dịch bằng torch.compile. Nó cũng hỗ trợ PD disaggregation, chuyển bộ nhớ đệm KV prefill sang máy chủ decode qua NIXL trên EFA, và hướng dẫn thực hành phục vụ openai/gpt-oss-120b trên một phiên bản EC2 Trainium3 với container pytorch-inference-sglang-neuronx.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.