ข้ามไปที่เนื้อหา
Hacker News · AI·· 3 ชม. ที่แล้วคะแนน AI38

Riptide ทดสอบประสิทธิภาพเคอร์เนล GPU attention เทียบกับของ AMD บน MI350X พร้อมเผยผลแพ้ทุกกรณี

Measured attention kernels vs. AMD's own on MI350X, with every loss published

สรุปโดย AI

Riptide เผยแพร่ผลการทดสอบประสิทธิภาพเคอร์เนล GPU attention ของตนเทียบกับเคอร์เนลของ AMD บน AMD Instinct MI350X โดยรายงานทั้งกรณีชนะและแพ้พร้อมช่วงความเชื่อมั่น 95% และการตรวจสอบความถูกต้องด้วย float64 เคอร์เนลของบริษัททำได้ 3.32 เท่าของค่าที่ดีที่สุดของ AMD ในการฝึกแบบ causal ที่ head dim 128 ด้วย S=512 แต่ลดลงเหลือ 0.82–0.84 เท่าที่ 16k โทเคนสำหรับ head dim 128 bf16 เคอร์เนลเหล่านี้ไม่ใช่โอเพนซอร์สและเปิดให้พาร์ตเนอร์ประเมินและขอรับสิทธิ์ใช้งาน

แหล่งข่าว:Hacker News · AI · github.com