Modal 讓 FlashAttention-4 在 LLM 推論上更快

Modal 為 FlashAttention-4 核心貢獻了多項最佳化，以加速以解碼為主的 LLM 推論工作負載，這類工作負載的瓶頸在於記憶體頻寬。這些變更包括將「split KV」平行化技術移植到 FA4，並以 cp.async 取代 TMA cp.async.bulk 載入，以處理不規則的記憶體存取。一個 FP8 輸入 PR（於 2026 年 4 月 17 日合併）相較於 bf16 基準可提供最高 1.16 倍的吞吐量，並可啟用更小的 KV 快取。