Sarvam 已向所有人开放 Sarvam Token Factory。Sarvam Token Factory 是 Sarvam 推出的推理平台,通过印度的 GPU 集群提供其自有模型和开放权重模型。开发者通过一个 OpenAI 兼容 API 即可访问所有模型。对于位于印度的团队来说,这意味着无需将流量发送到海外云,就能获得低延迟的 token。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
TL;DR
- 规模:发布时列出 8 个模型,包括 Sarvam 105B(总参数 105B,激活参数 9B,128K 上下文)、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B。
- 运行于:印度的 NVIDIA B200 集群。Sarvam 105B 现在每个副本可运行在 1 张 B200 上。向企业提供本地部署。
- 性能:根据 Sarvam 自己的测量,在大多数测试用例中,从孟买获得最快的首 token。
- 最佳:Kimi K3.1 Pro 达到每 GPU 6,177 tokens/s,而 InferenceX 为 3,213,在每用户 70 tokens/s 下(1.9 倍)。
什么是 Sarvam Token Factory?
它是一个托管推理栈,而不是单一模型。Sarvam 在 Epoch 活动上首次以 Sarvam Inference 的名称预览了它。发布文章列出了 8 个模型:Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。
文档将它们分为 2 组。按需付费模型运行在共享端点上。DeepSeek V4 Pro、Kimi K3.1 Pro、
Sarvam 推出 Sarvam Token Factory:为 8 个开放模型带来印度托管推理
| 指标 | Sarvam Token Factory | Together AI | Fireworks AI | DeepInfra |
|---|---|---|---|---|
| 服务地点 | 印度的 GPU 集群 | 未披露 | 未披露 | 未披露 |
| OpenAI 兼容 API | 是 | 是 | 是 | 是 |
| 第一方 LLM | Sarvam 105B | 未披露 | 未披露 | 未披露 |
| 本地部署选项 | 是 | 未披露 | 未披露 | 未披露 |
| DeepSeek V4.1 Flash 1017 价格(每 1M 输入/输出) | ₹14 / ₹55 | $0.30 / $1.20 | $0.30 / $1.20 | $0.20 / $0.60(标价);$0.14 / $0.42(促销价) |
| 缓存输入(每 1M) | 未披露 | $0.006 | $0.006 | $0.006 |
| 孟买 TTFT,1K 提示(Sarvam 实测) | 0.51 s | 0.61 s | 1.01 s | 1.08 s |
| 孟买 TTFT,10K 提示(Sarvam 实测) | 0.90 s | 0.71 s | 1.55 s | 1.75 s |
| 输出速度(Sarvam 实测) | 130 tok/s(标准),200(交互) | 278 tok/s | 193 tok/s | 未披露 |
核心要点
- Sarvam Token Factory 通过一个 OpenAI 兼容 API,从印度提供 Sarvam 及开放权重模型的服务。
- Sarvam 105B 起价为每 1M tokens 输入 ₹10、输出 ₹25。
- Sarvam 报告称,在 Kimi K3.1 Pro 上,其每 GPU 吞吐量是 InferenceX 的 1.9 倍。
- 在 DeepSeek V4.1 Flash 的流式速度上,Together 仍然胜过它。
- 所有基准数字均为自报。
查看技术博客、API 文档以及 X 上的发布帖。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。
也欢迎在 Twitter 上关注我们,并不要忘记加入我们 150k+ ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以加入我们的 Telegram。
需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的尝试是推出人工智能媒体平台 Marktechpost,该平台以对机器学习和深度学习新闻的深度报道而著称,这些报道既技术可靠,又易于广大受众理解。该平台月浏览量超过 200 万,显示出其在受众中的受欢迎程度。
- Asif Razzaq Liquid AI 发布 d1.2 和 d1.2-ultra:登顶 AA Decision Index 的全模态决策模型
- Asif Razzaq Alibaba 发布 Qwen4-Max:2.4T MoE、71B 激活、1M 上下文
- Asif Razzaq Cmpnd 发布 dspy-wsp:权重空间编程进入 DSPy
- Asif Razzaq Stanford Research 开源 Memorilla:面向冻结 LLM 的潜在记忆模块