跳至正文

技術方向

開源生態 最新動態

開放權重、能下載下來自己部署的模型,開源框架與 GitHub 上爆火的 AI 專案。

62 條精選近 30 天 45 條共收錄 433 條

11月19日 01:27更新

開源生態 · 精選 · 第 4 頁

2月11日星期三第 61–62 條 / 共 62 條
2025年9月26日星期五
  1. Modal Blog60

    Modal 工程師逆向解析 Flash Attention 4 的運作原理

    Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,逆向解析這個針對 Blackwell 最佳化的注意力核心如何運作,因為目前尚無官方技術報告。這篇文章追蹤一個 tile 如何流經該核心的 warp 特化非同步管線,並詳述兩個數學技巧:一個可取代基於 SFU 之指數運算的三次多項式軟體指數,以及一個更聰明的線上 softmax 重新縮放規則,Tri Dao 表示這能將修正次數減少 10 倍。據報導,FA4 比 Nvidia 的閉源 cudnn 注意力核心快約 20%,而撰文時尚無反向版本可用。

    推薦理由:Modal 工程師閱讀已釋出的 Flash Attention 4 原始碼,解釋其 warp 特化管線與兩個數學技巧,提供了一個可轉移的視角,說明 CUDA 核心設計的發展方向。