Cerebras 將分離式推理投入生產
熱點事件持續更新
Cerebras 將分離式推理投入生產
1 篇報導1 個報導來源50 分鐘前更新
先了解這件事
AI 綜述
Cerebras 已將分離式推理投入生產:在 Cerebras Inference Cloud 上的一次部署中,AMD Instinct GPU 負責提示處理(prefill),而 Cerebras CS-3 系統負責生成回應(decode)。Cerebras 表示,此配置每兆瓦的吞吐量是僅使用 CS-3 設置的 5 倍,且 token 生成速度沒有損失。 包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 在內的早期存取合作夥伴已經可以使用該解決方案;Cerebras 為他們提供端到端軟體堆疊或僅解碼 SDK。Cerebras 表示,計劃在 2027 年底前在其推理雲和合作夥伴部署中,將該方法部署到數百兆瓦的規模。
AI 依報導生成 · 更新
最新進展11月18日 08:56
Cerebras 推出解耦式推論方案,由 GPU 處理 prefill、晶圓級引擎處理 decode,每兆瓦吞吐量提升 5 倍報導時間線
沿著報導,了解事件的不同側面。
11月18日
- Hacker News · AICerebras 推出解耦式推論方案,由 GPU 處理 prefill、晶圓級引擎處理 decode,每兆瓦吞吐量提升 5 倍
Cerebras 推出解耦式推論,現已進入正式生產階段,其中由 GPU 處理提示處理(prefill),Cerebras 系統則負責輸出生成(decode)。在 Cerebras Inference Cloud 上進行的一項實測生產部署中,AMD Instinct GPU 處理提示,CS-3 系統生成回應,每兆瓦吞吐量達到僅使用 CS-3 配置的 5 倍,且 token 生成速度沒有任何損失。該公司表示,計劃在 2027 年底前將此方案部署到其推論雲及合作夥伴部署中的數百兆瓦規模,並向合作夥伴提供端到端軟體堆疊或僅 decode 的 SDK;早期存取合作夥伴包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute。
本事件熱度走勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。