Modal 让 FlashAttention-4 在 LLM 推理中更快

Modal 为 FlashAttention-4 内核贡献了优化，以加速以解码为主的 LLM 推理工作负载，这类负载的瓶颈在于内存带宽。改动包括将“split KV”并行技术移植到 FA4，并用 cp.async 替换 TMA cp.async.bulk 加载以应对不规则内存访问。一个 FP8 输入 PR（2026 年 4 月 17 日合并）相比 bf16 基线带来最高 1.16 倍的吞吐量，并支持更小的 KV 缓存。