AWS เปิดตัว SGLang-Neuron ช่วยให้ déploy โมเดลระดับแนวหน้า บน Trainium ด้วยอินเทอร์เฟซ SGLang ที่มีอยู่

Amazon ประกาศความพร้อมใช้งานทั่วไปของ SGLang-Neuron ซึ่งเป็นปลั๊กอินแบบ out-of-tree ที่รัน SGLang บน AWS Trainium ผ่าน AWS Deep Learning Container พัฒนาโดย RadixArk ร่วมกับ Annapurna Labs ผู้ใช้ยังคงใช้อินเทอร์เฟซเซิร์ฟเวอร์ SGLang และ API การสร้างข้อความเดิม ขณะที่ปลั๊กอินจัดเตรียมโมเดลเฉพาะสำหรับ Trainium, attention, MoE และ graph runner ที่สร้างบน PyTorch และ NKI kernels แบบเนทีฟซึ่งคอมไพล์ด้วย torch.compile นอกจากนี้ยังรองรับ PD disaggregation โดยถ่ายโอน KV cache ของ prefill ไปยังเซิร์ฟเวอร์ decode ผ่าน NIXL บน EFA และ walkthrough สาธิตการให้บริการ openai/gpt-oss-120b บนอินสแตนซ์ EC2 Trainium3 ด้วยคอนเทนเนอร์ pytorch-inference-sglang-neuronx