เส้นทางของ Together AI สู่ TKCC: ทำไมจึงลบเมกะเคอร์เนลของตนและปล่อยให้เอเจนต์ปรับแต่งการอนุมาน
Last year we built megakernels. This year we deleted them: The road to TKCC
Together AI อธิบายถึง TKCC คอมไพเลอร์ที่ขับเคลื่อนด้วยเอเจนต์ซึ่งสร้างการปรับแต่งการอนุมานโดยตรงจากซอร์สโค้ด forward-pass โดยรายงานว่าได้ TPS สูงกว่าถึง 1.7 เท่าเมื่อเทียบกับเมกะเคอร์เนล Llama 1B ที่ปรับแต่งด้วยมือ และได้ 1,111 TPS บน MiniMax M3.1-Flash และ 1,205 TPS บน DeepSeek v4.1-Flash ทีมพบว่าเคอร์เนลเริ่มต้นของ Torch Inductor ร่วมกับ CUDA Graphs และ PDL แบบละเอียดถึง 975 TPS ซึ่งคิดเป็น 98% ของ 990 TPS ของเมกะเคอร์เนล โดยไม่ต้องเขียนเคอร์เนลแม้แต่ตัวเดียว การทดสอบแบบ ablation แสดงให้เห็นว่าศูนย์รวมความรู้ที่คัดสรรโดยผู้เชี่ยวชาญทำให้เอเจนต์ช้าลง 25-31% และพรอมต์แบบง่าย ๆ ให้ผลดีกว่ากลยุทธ์การปรับแต่ง 6 รายการที่ผู้เชี่ยวชาญเขียนขึ้น
แหล่งข่าว:Hacker News · AI · together.ai