Hacker News · AI·· 20 小时前AI 评分60
Together AI 通往 TKCC 之路:为何删除其 megakernel,并让智能体优化推理
Last year we built megakernels. This year we deleted them: The road to TKCC
AI 导读
Together AI 介绍了 TKCC,一个由智能体驱动的编译器,可直接从前向传播源代码生成推理优化,报告称其 TPS 比手工调优的 Llama 1B megakernel 最高提升 1.7 倍,在 MiniMax M3.1-Flash 上达到 1,111 TPS,在 DeepSeek v4.1-Flash 上达到 1,205 TPS。团队发现,默认的 Torch Inductor kernel 加上 CUDA Graphs 和细粒度 PDL 可达到 975 TPS,为 megakernel 990 TPS 的 98%,且无需编写任何 kernel。消融实验表明,由专家整理的知识库使智能体变慢 25-31%,而一个简单的提示词优于六种专家编写的优化策略。
来源:Hacker News · AI · together.ai