Hacker News · AI·· 3 giờ trướcĐiểm AI38
Riptide đo điểm chuẩn các kernel attention GPU của mình so với kernel của chính AMD trên MI350X, công bố mọi kết quả thua
Measured attention kernels vs. AMD's own on MI350X, with every loss published
Tóm tắt bằng AI
Riptide đã công bố kết quả đo điểm chuẩn các kernel attention GPU của mình so với kernel của chính AMD trên AMD Instinct MI350X, báo cáo cả thắng lẫn thua với khoảng tin cậy 95% và kiểm tra tính đúng đắn bằng float64. Các kernel của họ đạt 3,32× so với mức tốt nhất của AMD ở head dim 128 huấn luyện causal với S=512, nhưng giảm xuống 0,82–0,84× ở 16k token với head dim 128 bf16. Các kernel này không phải mã nguồn mở và được cung cấp cho đối tác để đánh giá và cấp phép.
Nguồn:Hacker News · AI · github.com