Together AI เปิดตัวคอมไพเลอร์ TKCC ที่ขับเคลื่อนด้วยเอเจนต์สำหรับการอนุมาน
เริ่มตรงนี้
Together AI เผยแพร่บล็อกโพสต์อธิบาย TKCC คอมไพเลอร์ที่ขับเคลื่อนด้วยเอเจนต์ซึ่งสร้างการปรับแต่งสำหรับการอนุมานโดยตรงจากซอร์สโค้ด forward-pass บริษัทรายงานว่า TKCC ทำได้สูงสุด 1.7 เท่าของ TPS เมื่อเทียบกับ megakernel Llama 1B ที่ปรับแต่งด้วยมือ และได้ 1,111 TPS บน MiniMax M3.1-Flash และ 1,205 TPS บน DeepSeek v4.1-Flash Together AI กล่าวว่าได้ลบ megakernel ของตนทิ้งในกระบวนการนี้ ในการทดสอบ ablation Together AI พบว่าเคอร์เนล Torch Inductor แบบดีฟอลต์พร้อม CUDA Graphs และ PDL แบบละเอียดทำได้ 975 TPS หรือ 98% ของ 990 TPS ของ megakernel โดยไม่ต้องเขียนเคอร์เนลแม้แต่ตัวเดียว ทีมยังรายงานว่าศูนย์รวมความรู้ที่คัดสรรโดยผู้เชี่ยวชาญทำให้เอเจนต์ช้าลง 25-31% และพรอมต์แบบง่าย ๆ ให้ผลดีกว่ากลยุทธ์การปรับแต่งที่ผู้เชี่ยวชาญเขียนขึ้นหกแบบ Together AI กล่าวว่าองค์กรต่าง ๆ สามารถขอเข้าถึง Together Compiler ได้ก่อนกำหนด
สร้างจากรายงาน · อัปเดต 19 ชม. ที่แล้ว
ไทม์ไลน์รายงาน
ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน
- Hacker News · AIเส้นทางของ Together AI สู่ TKCC: ทำไมจึงลบเมกะเคอร์เนลของตนและปล่อยให้เอเจนต์ปรับแต่งการอนุมาน
Together AI อธิบายถึง TKCC คอมไพเลอร์ที่ขับเคลื่อนด้วยเอเจนต์ซึ่งสร้างการปรับแต่งการอนุมานโดยตรงจากซอร์สโค้ด forward-pass โดยรายงานว่าได้ TPS สูงกว่าถึง 1.7 เท่าเมื่อเทียบกับเมกะเคอร์เนล Llama 1B ที่ปรับแต่งด้วยมือ และได้ 1,111 TPS บน MiniMax M3.1-Flash และ 1,205 TPS บน DeepSeek v4.1-Flash ทีมพบว่าเคอร์เนลเริ่มต้นของ Torch Inductor ร่วมกับ CUDA Graphs และ PDL แบบละเอียดถึง 975 TPS ซึ่งคิดเป็น 98% ของ 990 TPS ของเมกะเคอร์เนล โดยไม่ต้องเขียนเคอร์เนลแม้แต่ตัวเดียว การทดสอบแบบ ablation แสดงให้เห็นว่าศูนย์รวมความรู้ที่คัดสรรโดยผู้เชี่ยวชาญทำให้เอเจนต์ช้าลง 25-31% และพรอมต์แบบง่าย ๆ ให้ผลดีกว่ากลยุทธ์การปรับแต่ง 6 รายการที่ผู้เชี่ยวชาญเขียนขึ้น
ความร้อนแรงของเหตุการณ์นี้
- ช่วงปัจจุบันที่เทียบได้
- 6
- จุดสูงสุดในช่วงที่เทียบได้
- 1017 พฤศจิกายน 13:00
- การเปลี่ยนแปลงใน 24 ชั่วโมง
- –
แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู