跳至正文
MarkTechPost· Asif Razzaq·· 15 小時前AI 評分58

Sarvam 推出 Token Factory,一個印度託管的推論平台,提供 8 個開放模型

Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models

AI 導讀

Sarvam 推出 Sarvam Token Factory,這是一個推論平台,透過單一 OpenAI 相容 API,從印度的 NVIDIA B200 叢集提供自家 Sarvam 105B 以及 GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B 等開放權重模型。此技術堆疊建構於 vLLM、SGLang、Dynamo 和 Mooncake 之上,Sarvam 表示快取在 DeepSeek V4.1 Flash 上處理了 95.7% 的提示詞 token,而該模型每天處理超過 450B 個 token。Sarvam 105B 的入門價格為每 1M token 輸入 ₹10、輸出 ₹25,優惠持續至 2026 年底;所有基準測試數字均為自行報告,而在 DeepSeek V4.1 Flash 串流方面,Together AI 仍然更快。

來源:MarkTechPost · marktechpost.com