Cerebras 将分离式推理投入生产
热点事件持续更新
Cerebras 将分离式推理投入生产
1 篇报道1 个报道来源50 分钟前更新
先了解这件事
AI 综述
Cerebras 已将分离式推理投入生产:在 Cerebras Inference Cloud 的一次部署中,AMD Instinct GPU 负责提示处理(prefill),Cerebras CS-3 系统负责生成响应(decode)。Cerebras 表示,与仅使用 CS-3 的配置相比,该配置每兆瓦吞吐量提升 5 倍,且 token 生成速度没有损失。 包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 在内的早期访问合作伙伴已经可以使用该解决方案;Cerebras 为其提供端到端软件栈或仅解码 SDK。Cerebras 表示,计划到 2027 年底在其推理云和合作伙伴部署中,将这一方案推广到数百兆瓦的规模。
AI 根据报道生成 · 更新
最新进展11月18日 08:56
Cerebras 推出分离式推理方案,由 GPU 处理预填充、晶圆级引擎处理解码,每兆瓦吞吐量提升 5 倍报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Hacker News · AICerebras 推出分离式推理方案,由 GPU 处理预填充、晶圆级引擎处理解码,每兆瓦吞吐量提升 5 倍
Cerebras 推出分离式推理并已投入生产,其中 GPU 负责提示处理(预填充),Cerebras 系统负责输出生成(解码)。在 Cerebras Inference Cloud 上的一次实测生产部署中,AMD Instinct GPU 处理提示,CS-3 系统生成响应,每兆瓦吞吐量达到仅使用 CS-3 配置的 5 倍,且 token 生成速度没有损失。该公司表示,计划到 2027 年底在其推理云和合作伙伴部署中按数百兆瓦规模部署这一方案,并向合作伙伴提供端到端软件栈或仅解码 SDK;早期访问合作伙伴包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。