跳到正文
Hacker News · AI·· 1 小时前AI 评分60

Cerebras 推出分离式推理方案,由 GPU 处理预填充、晶圆级引擎处理解码,每兆瓦吞吐量提升 5 倍

Cerebras Disaggregated Inference

AI 导读

Cerebras 推出分离式推理并已投入生产,其中 GPU 负责提示处理(预填充),Cerebras 系统负责输出生成(解码)。在 Cerebras Inference Cloud 上的一次实测生产部署中,AMD Instinct GPU 处理提示,CS-3 系统生成响应,每兆瓦吞吐量达到仅使用 CS-3 配置的 5 倍,且 token 生成速度没有损失。该公司表示,计划到 2027 年底在其推理云和合作伙伴部署中按数百兆瓦规模部署这一方案,并向合作伙伴提供端到端软件栈或仅解码 SDK;早期访问合作伙伴包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute。

来源:Hacker News · AI · cerebras.ai