Meta Engineering Blog·· 3 天前AI 評分58
Meta 解釋 TLX:為生產環境 ML 打造、硬體原生的 GPU 編譯器擴充,延伸 Triton
How We Built TLX: A Hardware-Native GPU Compiler for Production ML at Scale
AI 導讀
Meta 詳細說明 TLX(Triton Low-Level Extensions),這是 Triton 的擴充,加入明確的 warp-group 與 cluster 層級編排,同時保留 Triton 的張量程式設計模型。TLX 已在 Meta 全面投入生產環境運行,在數千顆 NVIDIA Blackwell GPU 上為 GEM 訓練達到 20-25% 端到端 MFU,為 RecSys 推論將運算密集型網路延遲最多降低三分之二,並有一個分散式分組 GEMM 核心部署於大規模 LLM 預訓練。Meta 表示 TLX 鎖定 NVIDIA Hopper 與 Blackwell,以及 AMD Mi300 與 Mi350x,並正著手支援更多架構、自動 warp-group 推論與 torch.compile 後端。
來源:Meta Engineering Blog · engineering.fb.com