跳到正文
MarkTechPost· Asif Razzaq·· 15 小时前AI 评分58

Sarvam 推出 Token Factory,一个托管在印度、服务 8 个开放模型的推理平台

Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models

AI 导读

Sarvam 推出了 Sarvam Token Factory,这是一个推理平台,通过一个兼容 OpenAI 的 API,从印度的 NVIDIA B200 集群提供其自有的 Sarvam 105B 以及 GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B 等开放权重模型。该技术栈基于 vLLM、SGLang、Dynamo 和 Mooncake 构建,Sarvam 报告称,在每天处理 450B+ token 的 DeepSeek V4.1 Flash 上,缓存覆盖了 95.7% 的提示 token。Sarvam 105B 的入门定价为每 1M token 输入 ₹10、输出 ₹25,有效期至 2026 年底;所有基准数字均为自报,在 DeepSeek V4.1 Flash 流式传输上 Together AI 仍然更快。

来源:MarkTechPost · marktechpost.com