Standard Kernel 用 AI 優化 Intel Gaudi2,在長上下文推理上超越 Nvidia H100
熱點事件觀察中
Standard Kernel 用 AI 優化 Intel Gaudi2,在長上下文推理上超越 Nvidia H100
1 篇報導1 個報導來源1 天前更新
先了解這件事
AI 綜述
Standard Kernel 表示,僅靠軟體優化就讓 Intel Gaudi2 在 Qwen3.5-27B 的長上下文推理上,比 Nvidia H100 80GB PCIe 更快。在其自家基準測試中,Gaudi2 的解碼吞吐量高出 60%,快取預填充吞吐量高出 8%,而每小時租用成本僅為後者的 17%。 該公司稱,其對 vLLM 與 vllm-gaudi 外掛的改動,使 Gaudi2 的快取預填充吞吐量較基線提升 3.21 倍、解碼吞吐量提升 2.84 倍,每美元產出的輸出 token 數增加 9.4 倍。測試採用 16 個並行請求,輸入為 70,000 token、共享前綴比例 95%,因此該結果適用於這種長上下文、快取密集的工作負載,而非一般意義上的推理。
AI 依報導生成 · 1 天前更新
最新進展11月19日 01:34
Standard Kernel 用 AI 優化 Intel Gaudi2,長上下文推理超越 Nvidia H100報導時間線
沿著報導,了解事件的不同側面。
11月19日
- Hacker News · AIStandard Kernel 用 AI 優化 Intel Gaudi2,長上下文推理超越 Nvidia H100
Standard Kernel 報告指出,僅靠軟體優化,就讓 Intel Gaudi2 上 Qwen3.5-27B 的推理解碼吞吐量比 Nvidia H100 80GB PCIe 高出 60%,快取預填充吞吐量高出 8%,而每小時租用成本僅為其 17%。該公司表示,其對 vLLM 與 vllm-gaudi 外掛的改動,使 Gaudi2 的快取預填充吞吐量較基線提升 3.21 倍、解碼吞吐量提升 2.84 倍,每美元產出的 token 數增加 9.4 倍。此基準測試使用 16 個並行請求,輸入為 70,000 token,共享前綴比例為 95%。
本事件熱度走勢
- 可比範圍當前
- 5
- 可比範圍峰值
- 1011月19日 02:00
- 近 24 小時變化
- -50%
02.557.510
06:0012:0018:0011月20日
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點擊圖表查看每小時熱度;鍵盤可用左右方向鍵切換。