AWS releases SGLang-Neuron plugin for Trainium inference
เนื้อหานี้ยังไม่มีในภาษาของคุณ จึงแสดงเป็นEnglish
เริ่มตรงนี้
Amazon ประกาศความพร้อมใช้งานทั่วไปของ SGLang-Neuron ซึ่งเป็นปลั๊กอินแบบ out-of-tree ที่รัน SGLang บน AWS Trainium ผ่าน AWS Deep Learning Container พัฒนาโดย RadixArk ร่วมกับ Annapurna Labs ผู้ใช้ยังคงใช้อินเทอร์เฟซเซิร์ฟเวอร์ SGLang และ API การสร้างข้อความเดิม ขณะที่ปลั๊กอินจัดเตรียมโมเดลเฉพาะสำหรับ Trainium, attention, MoE และ graph runner ที่สร้างบน PyTorch และ NKI kernels แบบเนทีฟซึ่งคอมไพล์ด้วย torch.compile นอกจากนี้ยังรองรับ PD disaggregation โดยถ่ายโอน KV cache ของ prefill ไปยังเซิร์ฟเวอร์ decode ผ่าน NIXL บน EFA และ walkthrough สาธิตการให้บริการ openai/gpt-oss-120b บนอินสแตนซ์ EC2 Trainium3 ด้วยคอนเทนเนอร์ pytorch-inference-sglang-neuronx
จาก AWS Machine Learning Blog
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- AWS Machine Learning BlogAWS เปิดตัว SGLang-Neuron ช่วยให้ déploy โมเดลระดับแนวหน้า บน Trainium ด้วยอินเทอร์เฟซ SGLang ที่มีอยู่
Amazon ประกาศความพร้อมใช้งานทั่วไปของ SGLang-Neuron ซึ่งเป็นปลั๊กอินแบบ out-of-tree ที่รัน SGLang บน AWS Trainium ผ่าน AWS Deep Learning Container พัฒนาโดย RadixArk ร่วมกับ Annapurna Labs ผู้ใช้ยังคงใช้อินเทอร์เฟซเซิร์ฟเวอร์ SGLang และ API การสร้างข้อความเดิม ขณะที่ปลั๊กอินจัดเตรียมโมเดลเฉพาะสำหรับ Trainium, attention, MoE และ graph runner ที่สร้างบน PyTorch และ NKI kernels แบบเนทีฟซึ่งคอมไพล์ด้วย torch.compile นอกจากนี้ยังรองรับ PD disaggregation โดยถ่ายโอน KV cache ของ prefill ไปยังเซิร์ฟเวอร์ decode ผ่าน NIXL บน EFA และ walkthrough สาธิตการให้บริการ openai/gpt-oss-120b บนอินสแตนซ์ EC2 Trainium3 ด้วยคอนเทนเนอร์ pytorch-inference-sglang-neuronx
ความร้อนแรงของเหตุการณ์นี้
ยังมีการเฝ้าดูต่อเนื่องไม่พอจะวาดแนวโน้ม