Sarvam ra mắt Token Factory, nền tảng suy luận đặt tại Ấn Độ phục vụ 8 mô hình mở
Sarvam Launches Sarvam Token Factory: Bringing India-Hosted Inference to 8 Open Models
Sarvam ra mắt Sarvam Token Factory, một nền tảng suy luận phục vụ mô hình Sarvam 105B của chính hãng và các mô hình trọng số mở như GLM 5.3, DeepSeek V4.1 Flash 1017, Kimi K3.1 Pro và Gemma 4 31B từ các cụm NVIDIA B200 tại Ấn Độ thông qua một API tương thích OpenAI. Ngăn xếp công nghệ dựa trên vLLM, SGLang, Dynamo và Mooncake, và Sarvam báo cáo rằng bộ nhớ đệm phục vụ 95,7% token gợi ý trên DeepSeek V4.1 Flash, mô hình xử lý hơn 450B token mỗi ngày. Giá giới thiệu khởi điểm từ ₹10 cho đầu vào và ₹25 cho đầu ra trên 1M token đối với Sarvam 105B đến hết năm 2026, và mọi con số benchmark đều do hãng tự báo cáo, với Together AI vẫn nhanh hơn trên tính năng streaming của DeepSeek V4.1 Flash.
Nguồn:MarkTechPost · marktechpost.com