ข้ามไปที่เนื้อหา
เหตุการณ์ร้อนแรงจับตาดู

Standard Kernel ใช้ AI ปรับแต่ง Intel Gaudi2 ให้แซง Nvidia H100

1 รายงาน1 แหล่งข่าวที่รายงานอัปเดต 1 วันที่แล้ว

เริ่มตรงนี้

ไดเจสต์ AI

Standard Kernel ระบุว่าการปรับแต่งซอฟต์แวร์เพียงอย่างเดียวทำให้ Intel Gaudi2 เร็วกว่า Nvidia H100 80GB PCIe สำหรับการอนุมานบริบทขนาดยาวบน Qwen3.5-27B ในการทดสอบ基準ของบริษัทเอง Gaudi2 ทำ decode throughput ได้สูงกว่า 60% และ cached-prefill throughput สูงกว่า 8% ขณะที่ค่าเช่าต่อชั่วโมงคิดเป็น 17% ของอีกฝ่าย บริษัทกล่าวว่าการเปลี่ยนแปลงที่ทำกับ vLLM และปลั๊กอิน vllm-gaudi ทำให้ cached-prefill throughput ของ Gaudi2 เพิ่มขึ้น 3.21 เท่า และ decode throughput เพิ่มขึ้น 2.84 เท่าเมื่อเทียบกับ baseline ส่งผลให้ได้ output tokens ต่อดอลลาร์มากขึ้น 9.4 เท่า การทดสอบใช้คำขอพร้อมกัน 16 รายการ โดยมีอินพุต 70,000 โทเคนและ shared prefix 95% ดังนั้นผลลัพธ์จึงใช้ได้กับงานลักษณะบริบทขนาดยาวที่ใช้แคชหนักเช่นนี้ ไม่ใช่กับการอนุมานโดยทั่วไป

สร้างจากรายงาน · อัปเดต 1 วันที่แล้ว

ไทม์ไลน์รายงาน

ไล่ตามรายงานเพื่อดูเหตุการณ์นี้จากหลายด้าน

19 พฤศจิกายน
  1. Hacker News · AI
    Standard Kernel ใช้ AI ปรับแต่ง Intel Gaudi2 แซง Nvidia H100 ในการอนุมานบริบทยาว

    Standard Kernel รายงานว่าการปรับแต่งซอฟต์แวร์เพียงอย่างเดียวทำให้การอนุมาน Qwen3.5-27B บน Intel Gaudi2 มีอัตราการส่งออก (decode throughput) สูงกว่า Nvidia H100 80GB PCIe ถึง 60% และอัตราการส่งออกแบบ cached-prefill สูงกว่า 8% โดยมีค่าเช่ารายชั่วโมงเพียง 17% บริษัทระบุว่าการเปลี่ยนแปลงใน vLLM และปลั๊กอิน vllm-gaudi ทำให้อัตรา cached-prefill ของ Gaudi2 เพิ่มขึ้น 3.21 เท่า และอัตรา decode เพิ่มขึ้น 2.84 เท่าเมื่อเทียบกับค่าพื้นฐาน ส่งผลให้ได้โทเคนเอาต์พุตต่อดอลลาร์เพิ่มขึ้น 9.4 เท่า การทดสอบ基準ใช้คำขอพร้อมกัน 16 รายการ โดยมีอินพุต 70,000 โทเคน และคำนำหน้าที่แชร์ร่วมกัน 95%

ความร้อนแรงของเหตุการณ์นี้

ช่วงปัจจุบันที่เทียบได้
5
จุดสูงสุดในช่วงที่เทียบได้
1019 พฤศจิกายน 02:00
การเปลี่ยนแปลงใน 24 ชั่วโมง
-50%

แนวโน้มนี้เปรียบเทียบผู้ร่วมพูดถึงชุดเดียวกันในช่วงเวลาที่เฝ้าดูต่อเนื่อง ช่วงจึงอาจแคบกว่าคะแนนความร้อนปัจจุบัน วางเมาส์หรือแตะกราฟเพื่อดูความร้อนรายชั่วโมง กดลูกศรเพื่อเลื่อนดู