Tới nội dung
Sự việc nóngĐang diễn ra

Together AI ra mắt trình biên dịch TKCC do agent điều khiển dành cho suy luận

1 bài viết1 nguồn đưa tinCập nhật 19 giờ trước

Bắt đầu từ đây

Tóm tắt AI

Together AI đã đăng một bài blog mô tả TKCC, một trình biên dịch do agent điều khiển tạo ra các tối ưu hóa suy luận trực tiếp từ mã nguồn lượt truyền xuôi. Công ty báo cáo TKCC đạt TPS cao hơn tới 1,7 lần so với megakernel Llama 1B được tinh chỉnh thủ công của họ, và đạt 1.111 TPS trên MiniMax M3.1-Flash cùng 1.205 TPS trên DeepSeek v4.1-Flash. Together AI cho biết họ đã xóa các megakernel của mình trong quá trình này. Trong các thử nghiệm loại bỏ thành phần, Together AI phát hiện rằng các kernel Torch Inductor mặc định cộng với CUDA Graphs và PDL chi tiết đạt 975 TPS, tức 98% so với 990 TPS của megakernel, mà không cần viết một kernel nào. Nhóm cũng báo cáo rằng một trung tâm kiến thức do chuyên gia tuyển chọn khiến các agent chậm hơn 25-31%, và một prompt đơn giản lại vượt trội so với sáu chiến lược tối ưu hóa do chuyên gia viết. Together AI cho biết các tổ chức có thể yêu cầu quyền truy cập sớm vào Together Compiler.

Tạo từ các bài viết · cập nhật 19 giờ trước

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

17 tháng 11
  1. Hacker News · AI
    Con đường của Together AI đến TKCC: vì sao họ xóa megakernel và để agent tối ưu inference

    Together AI mô tả TKCC, một trình biên dịch do agent điều khiển, tạo ra các tối ưu inference trực tiếp từ mã nguồn forward-pass, báo cáo TPS cao hơn tới 1,7 lần so với megakernel Llama 1B được tinh chỉnh thủ công của họ và 1.111 TPS trên MiniMax M3.1-Flash cùng 1.205 TPS trên DeepSeek v4.1-Flash. Nhóm nghiên cứu phát hiện rằng kernel mặc định của Torch Inductor cùng CUDA Graphs và PDL chi tiết đạt 975 TPS, tức 98% của 990 TPS mà megakernel đạt được, mà không cần viết một kernel nào. Các thử nghiệm ablation cho thấy một trung tâm tri thức do chuyên gia tuyển chọn khiến agent chậm hơn 25-31% và một prompt đơn giản vượt trội sáu chiến lược tối ưu do chuyên gia viết.

Độ nóng của sự việc này

Hiện tại, trong khoảng so sánh được
6
Đỉnh, trong khoảng so sánh được
1017 tháng 11 13:00
Thay đổi trong 24 giờ
–

Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.