跳到正文
热点事件持续更新

Together AI 发布面向推理的智能体驱动 TKCC 编译器

1 篇报道1 个报道来源19 小时前更新

先了解这件事

AI 综述

Together AI 发布了一篇博客文章,介绍 TKCC——一个智能体驱动的编译器,可直接从前向传播源代码生成推理优化。该公司称,TKCC 在其手工调优的 Llama 1B megakernel 上实现了最高 1.7 倍的 TPS 提升,并在 MiniMax M3.1-Flash 上达到 1,111 TPS、在 DeepSeek v4.1-Flash 上达到 1,205 TPS。Together AI 表示,在此过程中删除了其 megakernel。 在消融实验中,Together AI 发现,默认的 Torch Inductor 内核加上 CUDA Graphs 和细粒度 PDL 可达到 975 TPS,为 megakernel 990 TPS 的 98%,且无需编写任何内核。团队还报告称,由专家精心整理的知识中心使智能体变慢 25-31%,而一个简单的提示词表现优于六种由专家编写的优化策略。 Together AI 表示,各组织可以申请 Together Compiler 的早期访问权限。

AI 根据报道生成 · 19 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. Hacker News · AI
    Together AI 通往 TKCC 之路:为何删除其 megakernel,并让智能体优化推理

    Together AI 介绍了 TKCC,一个由智能体驱动的编译器,可直接从前向传播源代码生成推理优化,报告称其 TPS 比手工调优的 Llama 1B megakernel 最高提升 1.7 倍,在 MiniMax M3.1-Flash 上达到 1,111 TPS,在 DeepSeek v4.1-Flash 上达到 1,205 TPS。团队发现,默认的 Torch Inductor kernel 加上 CUDA Graphs 和细粒度 PDL 可达到 975 TPS,为 megakernel 990 TPS 的 98%,且无需编写任何 kernel。消融实验表明,由专家整理的知识库使智能体变慢 25-31%,而一个简单的提示词优于六种专家编写的优化策略。

本事件热度走势

可比范围当前
6
可比范围峰值
1011月17日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。