跳至正文
Hacker News · AI·· 20 小時前AI 評分60

Together AI 通往 TKCC 之路:為何它刪掉自家 megakernel,改讓 agent 優化推理

Last year we built megakernels. This year we deleted them: The road to TKCC

AI 導讀

Together AI 介紹 TKCC,這是一套由 agent 驅動的編譯器,能直接從前向傳播的原始碼生成推理優化,回報的 TPS 比其手工調校的 Llama 1B megakernel 最高高出 1.7 倍,並在 MiniMax M3.1-Flash 上達到 1,111 TPS、在 DeepSeek v4.1-Flash 上達到 1,205 TPS。團隊發現,預設的 Torch Inductor kernel 加上 CUDA Graphs 與細粒度 PDL 可達到 975 TPS,是 megakernel 990 TPS 的 98%,而且完全沒寫任何一行 kernel。消融實驗顯示,由專家策劃的知識中心反而讓 agent 慢了 25-31%,而一個樸素的提示詞勝過六種由專家撰寫的優化策略。

來源:Hacker News · AI · together.ai