Hacker News · AI·· 1 小時前AI 評分60
Cerebras 推出解耦式推論方案,由 GPU 處理 prefill、晶圓級引擎處理 decode,每兆瓦吞吐量提升 5 倍
Cerebras Disaggregated Inference
AI 導讀
Cerebras 推出解耦式推論,現已進入正式生產階段,其中由 GPU 處理提示處理(prefill),Cerebras 系統則負責輸出生成(decode)。在 Cerebras Inference Cloud 上進行的一項實測生產部署中,AMD Instinct GPU 處理提示,CS-3 系統生成回應,每兆瓦吞吐量達到僅使用 CS-3 配置的 5 倍,且 token 生成速度沒有任何損失。該公司表示,計劃在 2027 年底前將此方案部署到其推論雲及合作夥伴部署中的數百兆瓦規模,並向合作夥伴提供端到端軟體堆疊或僅 decode 的 SDK;早期存取合作夥伴包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute。
來源:Hacker News · AI · cerebras.ai