Together AI 推出由代理驅動的 TKCC 編譯器用於推理
先了解這件事
Together AI 發布了一篇部落格文章,介紹 TKCC,這是一款由代理驅動的編譯器,可直接從前向傳遞原始碼生成推理優化。該公司報告稱,TKCC 的 TPS 最高可達其手工調校的 Llama 1B megakernel 的 1.7 倍,並在 MiniMax M3.1-Flash 上達到 1,111 TPS,在 DeepSeek v4.1-Flash 上達到 1,205 TPS。Together AI 表示,他們在這個過程中刪除了自己的 megakernel。 在其消融實驗中,Together AI 發現,預設的 Torch Inductor 核心加上 CUDA Graphs 與細粒度 PDL 達到了 975 TPS,是 megakernel 990 TPS 的 98%,而且沒有編寫任何一個核心。該團隊還報告稱,一個由專家精心策劃的知識中心讓代理變慢了 25-31%,而一個樸素的提示詞勝過了六種由專家撰寫的優化策略。 Together AI 表示,各組織可以申請 Together Compiler 的早期存取權限。
AI 依報導生成 · 19 小時前更新
報導時間線
沿著報導,了解事件的不同側面。
- Hacker News · AITogether AI 通往 TKCC 之路:為何它刪掉自家 megakernel,改讓 agent 優化推理
Together AI 介紹 TKCC,這是一套由 agent 驅動的編譯器,能直接從前向傳播的原始碼生成推理優化,回報的 TPS 比其手工調校的 Llama 1B megakernel 最高高出 1.7 倍,並在 MiniMax M3.1-Flash 上達到 1,111 TPS、在 DeepSeek v4.1-Flash 上達到 1,205 TPS。團隊發現,預設的 Torch Inductor kernel 加上 CUDA Graphs 與細粒度 PDL 可達到 975 TPS,是 megakernel 990 TPS 的 98%,而且完全沒寫任何一行 kernel。消融實驗顯示,由專家策劃的知識中心反而讓 agent 慢了 25-31%,而一個樸素的提示詞勝過六種由專家撰寫的優化策略。
本事件熱度走勢
- 可比範圍當前
- 6
- 可比範圍峰值
- 1011月17日 13:00
- 近 24 小時變化
- –
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。