Meta giải thích TLX, một tiện ích mở rộng trình biên dịch GPU gốc phần cứng cho Triton phục vụ ML trong sản xuất

Meta đã trình bày chi tiết về TLX (Triton Low-Level Extensions), một tiện ích mở rộng cho Triton bổ sung điều phối cấp nhóm warp và cụm một cách tường minh trong khi vẫn giữ mô hình lập trình tensor của Triton. TLX đã được vận hành trong môi trường sản xuất trên toàn Meta, với 20-25% MFU end-to-end trên hàng nghìn GPU NVIDIA Blackwell cho huấn luyện GEM, giảm tới hai phần ba độ trễ mạng tính toán chuyên sâu cho suy luận RecSys, và một kernel GEMM nhóm phân tán được triển khai trong tiền huấn luyện LLM quy mô lớn. Meta cho biết TLX nhắm đến NVIDIA Hopper và Blackwell cùng AMD Mi300 và Mi350x, và đang phát triển thêm nhiều kiến trúc hơn, suy luận nhóm warp tự động và một backend torch.compile.