跳到正文
Hacker News · AI·· 1 天前AI 评分60

Standard Kernel 用 AI 优化 Intel Gaudi2,长上下文推理超越 Nvidia H100

Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100

AI 导读

Standard Kernel 报告称,仅靠软件优化,就将 Intel Gaudi2 上 Qwen3.5-27B 的推理性能提升至解码吞吐量比 Nvidia H100 80GB PCIe 高 60%、缓存预填充吞吐量高 8%,而每小时租用成本仅为后者的 17%。该公司表示,其对 vLLM 和 vllm-gaudi 插件的改动使 Gaudi2 的缓存预填充吞吐量较基线提升 3.21 倍、解码吞吐量提升 2.84 倍,每美元产出的输出 token 数提升 9.4 倍。该基准测试使用 16 个并发请求,输入为 70,000 token,共享前缀比例为 95%。

来源:Hacker News · AI · standardkernel.com