Newshot

Sarvam 推出 Sarvam Token Factory:将印度托管的推理服务引入 8 个开放模型

AI summary

Sarvam 向所有人开放了 Sarvam Token Factory,这是一个由印度 GPU 集群提供推理服务的平台,支持其自有模型和开放权重模型。开发者可通过一个兼容 OpenAI 的 API 访问所有模型,对印度团队而言意味着低延迟且无需将流量发送至海外云。发布时列出 8 个模型,运行在印度的 NVIDIA B200 集群上,并为企业提供本地部署选项。

Translation(model translation, not the source's own text)

Sarvam 已向所有人开放 Sarvam Token Factory。Sarvam Token Factory 是 Sarvam 推出的推理平台,通过印度的 GPU 集群提供其自有模型和开放权重模型。开发者通过一个 OpenAI 兼容 API 即可访问所有模型。对于位于印度的团队来说,这意味着无需将流量发送到海外云,就能获得低延迟的 token。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。

TL;DR

  • 规模:发布时列出 8 个模型,包括 Sarvam 105B(总参数 105B,激活参数 9B,128K 上下文)、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro 和 Gemma 4 31B。
  • 运行于:印度的 NVIDIA B200 集群。Sarvam 105B 现在每个副本可运行在 1 张 B200 上。向企业提供本地部署。
  • 性能:根据 Sarvam 自己的测量,在大多数测试用例中,从孟买获得最快的首 token。
  • 最佳:Kimi K3.1 Pro 达到每 GPU 6,177 tokens/s,而 InferenceX 为 3,213,在每用户 70 tokens/s 下(1.9 倍)。

什么是 Sarvam Token Factory?

它是一个托管推理栈,而不是单一模型。Sarvam 在 Epoch 活动上首次以 Sarvam Inference 的名称预览了它。发布文章列出了 8 个模型:Sarvam 105B、GLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash 1017、DeepSeek V4 Pro、Kimi K3、Kimi K3.1 Pro 和 Gemma 4 31B。

文档将它们分为 2 组。按需付费模型运行在共享端点上。DeepSeek V4 Pro、Kimi K3.1 Pro、

Sarvam 推出 Sarvam Token Factory:为 8 个开放模型带来印度托管推理

指标Sarvam Token FactoryTogether AIFireworks AIDeepInfra
服务地点印度的 GPU 集群未披露未披露未披露
OpenAI 兼容 API是是是是
第一方 LLMSarvam 105B未披露未披露未披露
本地部署选项是未披露未披露未披露
DeepSeek V4.1 Flash 1017 价格(每 1M 输入/输出)₹14 / ₹55$0.30 / $1.20$0.30 / $1.20$0.20 / $0.60(标价);$0.14 / $0.42(促销价)
缓存输入(每 1M)未披露$0.006$0.006$0.006
孟买 TTFT,1K 提示(Sarvam 实测)0.51 s0.61 s1.01 s1.08 s
孟买 TTFT,10K 提示(Sarvam 实测)0.90 s0.71 s1.55 s1.75 s
输出速度(Sarvam 实测)130 tok/s(标准),200(交互)278 tok/s193 tok/s未披露

核心要点

  • Sarvam Token Factory 通过一个 OpenAI 兼容 API,从印度提供 Sarvam 及开放权重模型的服务。
  • Sarvam 105B 起价为每 1M tokens 输入 ₹10、输出 ₹25。
  • Sarvam 报告称,在 Kimi K3.1 Pro 上,其每 GPU 吞吐量是 InferenceX 的 1.9 倍。
  • 在 DeepSeek V4.1 Flash 的流式速度上,Together 仍然胜过它。
  • 所有基准数字均为自报。

查看技术博客、API 文档以及 X 上的发布帖。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。

也欢迎在 Twitter 上关注我们,并不要忘记加入我们 150k+ ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以加入我们的 Telegram。

需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或网络研讨会等?联系我们

Asif Razzaq 是 Marktechpost AI Media Inc. 的 CEO。作为一名有远见的企业家和工程师,Asif 致力于利用人工智能的潜力造福社会。他最近的尝试是推出人工智能媒体平台 Marktechpost,该平台以对机器学习和深度学习新闻的深度报道而著称,这些报道既技术可靠,又易于广大受众理解。该平台月浏览量超过 200 万,显示出其在受众中的受欢迎程度。

  • Asif Razzaq Liquid AI 发布 d1.2 和 d1.2-ultra:登顶 AA Decision Index 的全模态决策模型
  • Asif Razzaq Alibaba 发布 Qwen4-Max:2.4T MoE、71B 激活、1M 上下文
  • Asif Razzaq Cmpnd 发布 dspy-wsp:权重空间编程进入 DSPy
  • Asif Razzaq Stanford Research 开源 Memorilla:面向冻结 LLM 的潜在记忆模块

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by MarkTechPost
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗