Tới nội dung
Hacker News · AI·· 20 giờ trướcĐiểm AI60

Con đường của Together AI đến TKCC: vì sao họ xóa megakernel và để agent tối ưu inference

Last year we built megakernels. This year we deleted them: The road to TKCC

Tóm tắt bằng AI

Together AI mô tả TKCC, một trình biên dịch do agent điều khiển, tạo ra các tối ưu inference trực tiếp từ mã nguồn forward-pass, báo cáo TPS cao hơn tới 1,7 lần so với megakernel Llama 1B được tinh chỉnh thủ công của họ và 1.111 TPS trên MiniMax M3.1-Flash cùng 1.205 TPS trên DeepSeek v4.1-Flash. Nhóm nghiên cứu phát hiện rằng kernel mặc định của Torch Inductor cùng CUDA Graphs và PDL chi tiết đạt 975 TPS, tức 98% của 990 TPS mà megakernel đạt được, mà không cần viết một kernel nào. Các thử nghiệm ablation cho thấy một trung tâm tri thức do chuyên gia tuyển chọn khiến agent chậm hơn 25-31% và một prompt đơn giản vượt trội sáu chiến lược tối ưu do chuyên gia viết.

Nguồn:Hacker News · AI · together.ai