Modal 工程師逆向解析 Flash Attention 4 的運作原理

Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼，逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作，因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線，並詳述兩個數學技巧：一個可取代基於 SFU 之指數運算的三次多項式軟體指數，以及一個更聰明的線上 softmax 重新縮放規則，Tri Dao 表示這能將修正次數減少 10 倍。據報導，FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%，而撰文時尚無反向版本可用。