Meta 详解 TLX：面向生产级 ML 的 Triton 硬件原生 GPU 编译器扩展

Meta 详细介绍了 TLX（Triton 低级扩展），这是 Triton 的一个扩展，在保留 Triton 张量编程模型的同时，增加了显式的 warp-group 和 cluster 级编排。TLX 已在 Meta 全公司投入生产使用：在数千块 NVIDIA Blackwell GPU 上用于 GEM 训练时，端到端 MFU 达到 20-25%；用于 RecSys 推理时，计算密集型网络延迟最多降低三分之二；一个分布式分组 GEMM 内核已部署于大规模 LLM 预训练。Meta 表示，TLX 面向 NVIDIA Hopper 和 Blackwell 以及 AMD Mi300 和 Mi350x，并正在开发更多架构支持、自动 warp-group 推断以及一个 torch.compile 后端。