Tới nội dung
Sự việc nóngĐang diễn ra

Cerebras đưa suy luận phân tách vào vận hành thực tế

1 bài viết1 nguồn đưa tinCập nhật 49 phút trước

Bắt đầu từ đây

Tóm tắt AI

Cerebras đã đưa suy luận phân tách vào vận hành thực tế: trong một triển khai trên Cerebras Inference Cloud, GPU AMD Instinct đảm nhận xử lý prompt (prefill) trong khi hệ thống Cerebras CS-3 sinh phản hồi (decode). Cerebras cho biết cấu hình này mang lại thông lượng trên mỗi megawatt gấp 5 lần so với thiết lập chỉ dùng CS-3 mà không giảm tốc độ sinh token. Các đối tác truy cập sớm, gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute, đã có quyền truy cập giải pháp này; Cerebras cung cấp cho họ một ngăn xếp phần mềm đầu-cuối hoặc SDK chỉ dành cho decode. Cerebras cho biết dự kiến triển khai cách tiếp cận này trên quy mô hàng trăm megawatt trong đám mây suy luận và các triển khai đối tác của mình vào cuối năm 2027.

Tạo từ các bài viết · cập nhật

Dòng thời gian bài viết

Theo các bài viết để thấy sự việc từ nhiều phía.

18 tháng 11
  1. Hacker News · AI
    Cerebras ra mắt giải pháp suy luận phân tách, trong đó GPU xử lý prefill và bộ máy quy mô wafer xử lý decode, mang lại thông lượng gấp 5 lần trên mỗi megawatt

    Cerebras đã ra mắt giải pháp suy luận phân tách, hiện đã đi vào vận hành thực tế, trong đó GPU xử lý xử lý lời nhắc (prefill) còn hệ thống Cerebras xử lý tạo đầu ra (decode). Trong một triển khai vận hành thực tế được đo lường trên Cerebras Inference Cloud, GPU AMD Instinct xử lý lời nhắc và hệ thống CS-3 tạo phản hồi, mang lại thông lượng gấp 5 lần trên mỗi megawatt so với cấu hình chỉ dùng CS-3 mà không làm giảm tốc độ tạo token. Công ty cho biết dự kiến triển khai phương pháp này trên quy mô hàng trăm megawatt trong đám mây suy luận và các triển khai đối tác của mình vào cuối năm 2027, đồng thời cung cấp cho đối tác bộ phần mềm đầu-cuối hoặc SDK chỉ dùng cho decode; các đối tác truy cập sớm bao gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute.

Độ nóng của sự việc này

Chưa đủ quan sát liên tục để vẽ xu hướng.