跳至正文
Hacker News · AI·· 1 天前AI 評分60

Standard Kernel 用 AI 優化 Intel Gaudi2,長上下文推理超越 Nvidia H100

Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100

AI 導讀

Standard Kernel 報告指出,僅靠軟體優化,就讓 Intel Gaudi2 上 Qwen3.5-27B 的推理解碼吞吐量比 Nvidia H100 80GB PCIe 高出 60%,快取預填充吞吐量高出 8%,而每小時租用成本僅為其 17%。該公司表示,其對 vLLM 與 vllm-gaudi 外掛的改動,使 Gaudi2 的快取預填充吞吐量較基線提升 3.21 倍、解碼吞吐量提升 2.84 倍,每美元產出的 token 數增加 9.4 倍。此基準測試使用 16 個並行請求,輸入為 70,000 token,共享前綴比例為 95%。

來源:Hacker News · AI · standardkernel.com