跳至正文
熱點事件持續更新

Together AI 推出由代理驅動的 TKCC 編譯器用於推理

1 篇報導1 個報導來源19 小時前更新

先了解這件事

AI 綜述

Together AI 發布了一篇部落格文章,介紹 TKCC,這是一款由代理驅動的編譯器,可直接從前向傳遞原始碼生成推理優化。該公司報告稱,TKCC 的 TPS 最高可達其手工調校的 Llama 1B megakernel 的 1.7 倍,並在 MiniMax M3.1-Flash 上達到 1,111 TPS,在 DeepSeek v4.1-Flash 上達到 1,205 TPS。Together AI 表示,他們在這個過程中刪除了自己的 megakernel。 在其消融實驗中,Together AI 發現,預設的 Torch Inductor 核心加上 CUDA Graphs 與細粒度 PDL 達到了 975 TPS,是 megakernel 990 TPS 的 98%,而且沒有編寫任何一個核心。該團隊還報告稱,一個由專家精心策劃的知識中心讓代理變慢了 25-31%,而一個樸素的提示詞勝過了六種由專家撰寫的優化策略。 Together AI 表示,各組織可以申請 Together Compiler 的早期存取權限。

AI 依報導生成 · 19 小時前更新

報導時間線

沿著報導,了解事件的不同側面。

11月17日
  1. Hacker News · AI
    Together AI 通往 TKCC 之路:為何它刪掉自家 megakernel,改讓 agent 優化推理

    Together AI 介紹 TKCC,這是一套由 agent 驅動的編譯器,能直接從前向傳播的原始碼生成推理優化,回報的 TPS 比其手工調校的 Llama 1B megakernel 最高高出 1.7 倍,並在 MiniMax M3.1-Flash 上達到 1,111 TPS、在 DeepSeek v4.1-Flash 上達到 1,205 TPS。團隊發現,預設的 Torch Inductor kernel 加上 CUDA Graphs 與細粒度 PDL 可達到 975 TPS,是 megakernel 990 TPS 的 98%,而且完全沒寫任何一行 kernel。消融實驗顯示,由專家策劃的知識中心反而讓 agent 慢了 25-31%,而一個樸素的提示詞勝過六種由專家撰寫的優化策略。

本事件熱度走勢

可比範圍當前
6
可比範圍峰值
1011月17日 13:00
近 24 小時變化
–

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。