Meta อธิบาย TLX ส่วนขยายคอมไพเลอร์ GPU แบบฮาร์ดแวร์เนทีฟสำหรับ Triton เพื่อ ML ระดับโปรดักชัน
How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale
Meta ให้รายละเอียดเกี่ยวกับ TLX (Triton Low-Level Extensions) ส่วนขยายของ Triton ที่เพิ่มการจัดการระดับ warp-group และ cluster อย่างชัดเจน โดยยังคงโมเดลการเขียนโปรแกรมแบบเทนเซอร์ของ Triton ไว้ TLX ใช้งานจริงในโปรดักชันทั่ว Meta แล้ว โดยได้ MFU แบบ end-to-end 20-25% บน GPU NVIDIA Blackwell หลายพันตัวสำหรับการเทรน GEM ลดเลเทนซีของเครือข่ายที่ใช้คอมพิวต์หนักสำหรับการอนุมาน RecSys ได้มากถึงสองในสาม และมีเคอร์เนล grouped GEMM แบบกระจายที่ใช้งานในการพรีเทรน LLM ขนาดใหญ่ Meta ระบุว่า TLX รองรับ NVIDIA Hopper และ Blackwell รวมถึง AMD Mi300 และ Mi350x และกำลังพัฒนาสถาปัตยกรรมเพิ่มเติม การอนุมาน warp-group อัตโนมัติ และแบ็กเอนด์ torch.compile
แหล่งข่าว:Meta Engineering Blog · engineering.fb.com