Hacker News · AI·· 3 小时前AI 评分38
Riptide 在 MI350X 上将其 GPU attention 内核与 AMD 自家内核进行基准对比,并公开每一项落败结果
Measured attention kernels vs. AMD's own on MI350X, with every loss published
AI 导读
Riptide 公布了其在 AMD Instinct MI350X 上将其 GPU attention 内核与 AMD 自家内核进行实测对比的基准结果,同时报告了胜出与落败的情况,并给出 95% 置信区间和 float64 正确性校验。在 head dim 128、S=512 的 causal training 场景下,其内核达到 AMD 最佳成绩的 3.32 倍;但在 head dim 128 bf16、16k tokens 时降至 0.82–0.84 倍。这些内核并未开源,仅提供给合作伙伴进行评估与授权。
来源:Hacker News · AI · github.com