Newshot

Cerebras 解耦推理

Translation(model translation, not the source's own text)

Cerebras 分离式推理

我们计划到 2027 年底,在 Cerebras Inference Cloud 以及合作伙伴部署中,将分离式推理广泛部署到数百兆瓦的规模。我们的目标是提升可供客户使用的超快推理容量。

Cerebras 面向基础设施合作伙伴的分离式推理

Cerebras 分离式推理解决方案也为合作伙伴采用而构建。基础设施合作伙伴可以基于 Cerebras 提供的参考架构部署分离式推理集群,将其选定的预填充加速器与 Cerebras 系统共置于统一网络中。在软件集成方面,合作伙伴既可以集成 Cerebras 端到端分离式软件栈,也可以集成仅解码 SDK。

端到端分离式软件栈最适合优化上市时间的合作伙伴。它包括:

  • 一个分离式推理框架,用于在预填充池和解码池之间路由请求,并管理副本容量和健康状态。
  • 一个预填充引擎,使用 vLLM 或 SGLang 等开源推理引擎处理提示词。
  • 一个 Cerebras 解码引擎,用于在 Cerebras 系统上生成响应。
  • KV Portal 软件,一种通过 RDMA 在预填充引擎和解码引擎之间传输中间模型状态(包括键值缓存)的接口。

仅解码 SDK 最适合优化控制权的合作伙伴。借助仅解码 SDK,合作伙伴可以将自己的推理框架和预填充引擎接入 Cerebras 解码引擎和 KV Portal 软件。此外,仅解码 SDK 还提供开发辅助工具,例如模拟的 Cerebras 解码副本,以及与开源分离式推理框架和预填充引擎的参考集成。

Only about 661 characters could be extracted — the rest did not come through (common on sites that need scrolling or a login). Read the original for the full piece.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗