ข้ามไปที่เนื้อหา
Hacker News · AI·· 1 วันที่แล้วคะแนน AI60

Standard Kernel ใช้ AI ปรับแต่ง Intel Gaudi2 แซง Nvidia H100 ในการอนุมานบริบทยาว

Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100

สรุปโดย AI

Standard Kernel รายงานว่าการปรับแต่งซอฟต์แวร์เพียงอย่างเดียวทำให้การอนุมาน Qwen3.5-27B บน Intel Gaudi2 มีอัตราการส่งออก (decode throughput) สูงกว่า Nvidia H100 80GB PCIe ถึง 60% และอัตราการส่งออกแบบ cached-prefill สูงกว่า 8% โดยมีค่าเช่ารายชั่วโมงเพียง 17% บริษัทระบุว่าการเปลี่ยนแปลงใน vLLM และปลั๊กอิน vllm-gaudi ทำให้อัตรา cached-prefill ของ Gaudi2 เพิ่มขึ้น 3.21 เท่า และอัตรา decode เพิ่มขึ้น 2.84 เท่าเมื่อเทียบกับค่าพื้นฐาน ส่งผลให้ได้โทเคนเอาต์พุตต่อดอลลาร์เพิ่มขึ้น 9.4 เท่า การทดสอบ基準ใช้คำขอพร้อมกัน 16 รายการ โดยมีอินพุต 70,000 โทเคน และคำนำหน้าที่แชร์ร่วมกัน 95%

แหล่งข่าว:Hacker News · AI · standardkernel.com