Cerebras đưa suy luận phân tách vào vận hành thực tế
Bắt đầu từ đây
Cerebras đã đưa suy luận phân tách vào vận hành thực tế: trong một triển khai trên Cerebras Inference Cloud, GPU AMD Instinct đảm nhận xử lý prompt (prefill) trong khi hệ thống Cerebras CS-3 sinh phản hồi (decode). Cerebras cho biết cấu hình này mang lại thông lượng trên mỗi megawatt gấp 5 lần so với thiết lập chỉ dùng CS-3 mà không giảm tốc độ sinh token. Các đối tác truy cập sớm, gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute, đã có quyền truy cập giải pháp này; Cerebras cung cấp cho họ một ngăn xếp phần mềm đầu-cuối hoặc SDK chỉ dành cho decode. Cerebras cho biết dự kiến triển khai cách tiếp cận này trên quy mô hàng trăm megawatt trong đám mây suy luận và các triển khai đối tác của mình vào cuối năm 2027.
Tạo từ các bài viết · cập nhật
Dòng thời gian bài viết
Theo các bài viết để thấy sự việc từ nhiều phía.
- Hacker News · AICerebras ra mắt giải pháp suy luận phân tách, trong đó GPU xử lý prefill và bộ máy quy mô wafer xử lý decode, mang lại thông lượng gấp 5 lần trên mỗi megawatt
Cerebras đã ra mắt giải pháp suy luận phân tách, hiện đã đi vào vận hành thực tế, trong đó GPU xử lý xử lý lời nhắc (prefill) còn hệ thống Cerebras xử lý tạo đầu ra (decode). Trong một triển khai vận hành thực tế được đo lường trên Cerebras Inference Cloud, GPU AMD Instinct xử lý lời nhắc và hệ thống CS-3 tạo phản hồi, mang lại thông lượng gấp 5 lần trên mỗi megawatt so với cấu hình chỉ dùng CS-3 mà không làm giảm tốc độ tạo token. Công ty cho biết dự kiến triển khai phương pháp này trên quy mô hàng trăm megawatt trong đám mây suy luận và các triển khai đối tác của mình vào cuối năm 2027, đồng thời cung cấp cho đối tác bộ phần mềm đầu-cuối hoặc SDK chỉ dùng cho decode; các đối tác truy cập sớm bao gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute.
Độ nóng của sự việc này
Chưa đủ quan sát liên tục để vẽ xu hướng.