跳到正文

技术方向

开源生态 最新动态

开放权重、能下载下来自己部署的模型,开源框架与 GitHub 上爆火的 AI 项目。

62 条精选近 30 天 45 条共收录 433 条

11月19日 01:27更新

开源生态 · 精选 · 第 4 页

2月11日周三第 61–62 条 / 共 62 条
2025年9月26日周五
  1. Modal Blog60

    Modal工程师逆向解析Flash Attention 4的工作原理

    Modal工程师阅读了已发布的Flash Attention 4源代码,逆向解析了这个针对Blackwell优化的注意力内核的工作原理,因为目前尚无官方技术报告。文章追踪了一个tile在内核的warp特化异步流水线中的流转过程,并详述了两个数学技巧:一个可替代基于SFU的指数运算的三次多项式软件指数,以及一个更聪明的在线softmax重缩放规则——Tri Dao称其将修正次数减少了10倍。据报道,FA4比Nvidia闭源的cudnn注意力内核快约20%,而在撰写本文时反向版本尚不可用。

    推荐理由:Modal工程师阅读了已发布的Flash Attention 4源代码,解释了其warp特化流水线和两个数学技巧,提供了一个关于CUDA内核设计走向的可迁移视角。