Standard Kernel dùng AI để tối ưu Intel Gaudi2 vượt qua Nvidia H100
Bắt đầu từ đây
Standard Kernel cho biết chỉ nhờ tối ưu phần mềm mà Intel Gaudi2 đã nhanh hơn Nvidia H100 80GB PCIe khi suy luận ngữ cảnh dài trên Qwen3.5-27B. Trong benchmark của chính mình, Gaudi2 đạt thông lượng decode cao hơn 60% và thông lượng cached-prefill cao hơn 8%, trong khi chi phí thuê mỗi giờ chỉ bằng 17%. Công ty cho biết các thay đổi của họ đối với vLLM và plugin vllm-gaudi đã nâng thông lượng cached-prefill của Gaudi2 lên 3,21 lần và thông lượng decode lên 2,84 lần so với mức cơ sở, tạo ra số token đầu ra trên mỗi đô-la nhiều hơn 9,4 lần. Bài kiểm tra dùng 16 yêu cầu đồng thời với đầu vào 70.000 token và 95% tiền tố dùng chung, nên kết quả chỉ áp dụng cho khối lượng công việc ngữ cảnh dài, nặng về cache đó chứ không áp dụng chung cho suy luận.
Tạo từ các bài viết · cập nhật 1 ngày trước
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AIStandard Kernel dùng AI để tối ưu Intel Gaudi2 vượt Nvidia H100 trong suy luận ngữ cảnh dài
Standard Kernel báo cáo rằng chỉ nhờ tối ưu phần mềm đã nâng suy luận Qwen3.5-27B trên Intel Gaudi2 lên thông lượng giải mã cao hơn 60% và thông lượng prefill có bộ nhớ đệm cao hơn 8% so với Nvidia H100 80GB PCIe, với chi phí thuê theo giờ bằng 17%. Công ty cho biết các thay đổi của mình đối với vLLM và plugin vllm-gaudi đã tăng thông lượng prefill có bộ nhớ đệm của Gaudi2 lên 3,21 lần và thông lượng giải mã lên 2,84 lần so với mức cơ sở, mang lại số token đầu ra trên mỗi đô la nhiều hơn 9,4 lần. Bài đo chuẩn sử dụng 16 yêu cầu đồng thời với đầu vào 70.000 token và tiền tố chia sẻ 95%.
Độ nóng của sự việc này
- Hiện tại, trong khoảng so sánh được
- 5
- Đỉnh, trong khoảng so sánh được
- 1019 tháng 11 02:00
- Thay đổi trong 24 giờ
- -50%
Xu hướng so sánh cùng một nhóm người tham gia trong những giờ được quan sát liên tục, nên khoảng của nó có thể hẹp hơn số độ nóng hiện tại. Rê chuột hoặc chạm vào biểu đồ để xem độ nóng theo giờ; các phím mũi tên di chuyển qua biểu đồ.