Cerebras ra mắt giải pháp suy luận phân tách, trong đó GPU xử lý prefill và bộ máy quy mô wafer xử lý decode, mang lại thông lượng gấp 5 lần trên mỗi megawatt
Cerebras Disaggregated Inference
Cerebras đã ra mắt giải pháp suy luận phân tách, hiện đã đi vào vận hành thực tế, trong đó GPU xử lý xử lý lời nhắc (prefill) còn hệ thống Cerebras xử lý tạo đầu ra (decode). Trong một triển khai vận hành thực tế được đo lường trên Cerebras Inference Cloud, GPU AMD Instinct xử lý lời nhắc và hệ thống CS-3 tạo phản hồi, mang lại thông lượng gấp 5 lần trên mỗi megawatt so với cấu hình chỉ dùng CS-3 mà không làm giảm tốc độ tạo token. Công ty cho biết dự kiến triển khai phương pháp này trên quy mô hàng trăm megawatt trong đám mây suy luận và các triển khai đối tác của mình vào cuối năm 2027, đồng thời cung cấp cho đối tác bộ phần mềm đầu-cuối hoặc SDK chỉ dùng cho decode; các đối tác truy cập sớm bao gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute.
Nguồn:Hacker News · AI · cerebras.ai