Hacker News · AI·· 1 ngày trướcĐiểm AI60
Standard Kernel dùng AI để tối ưu Intel Gaudi2 vượt Nvidia H100 trong suy luận ngữ cảnh dài
Standard Kernel Used AI to Make Intel's Abandoned Gaudi2 Outperform Nvidia H100
Tóm tắt bằng AI
Standard Kernel báo cáo rằng chỉ nhờ tối ưu phần mềm đã nâng suy luận Qwen3.5-27B trên Intel Gaudi2 lên thông lượng giải mã cao hơn 60% và thông lượng prefill có bộ nhớ đệm cao hơn 8% so với Nvidia H100 80GB PCIe, với chi phí thuê theo giờ bằng 17%. Công ty cho biết các thay đổi của mình đối với vLLM và plugin vllm-gaudi đã tăng thông lượng prefill có bộ nhớ đệm của Gaudi2 lên 3,21 lần và thông lượng giải mã lên 2,84 lần so với mức cơ sở, mang lại số token đầu ra trên mỗi đô la nhiều hơn 9,4 lần. Bài đo chuẩn sử dụng 16 yêu cầu đồng thời với đầu vào 70.000 token và tiền tố chia sẻ 95%.
Nguồn:Hacker News · AI · standardkernel.com