Newshot

12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

Summary

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元 (IT之家注:现汇率约合 63,239 元人民币) 使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。 在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元 (现汇率约合 63,239 元人民币) 。 这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。 配置 3× DGX Spark(TP3、SGLang、MXFP4 专家) 4× DGX Spark(TP4;三堆叠) 12× V100(本次配置) 单请求,代码 未发布 125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark) 153–184 单请求,普通文本 38–51 79–88 83–95 预填充,长提示词 约 2,000 3,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K) 4,500–4,700 多请求 4 个流合计 85 32 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化) 3 个流时 344–443;它不是批量解码引擎 上下文 配置为 256K 1M 配置为 524K 性能方面,该网友的测试结果如下: 上下文长度 首个 token(冷启动) 预填充速度(tok/s) 代码 法律 普通文本 三个代码请求合计 首个 token(文档已缓存) 1K 0.7 秒 1,567 184 102 86 443 0.2 秒 8K 2.5 秒 3,267 176 93 90…

Original text(via IT之家)

12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。

在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币)。

这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

配置3× DGX Spark(TP3、SGLang、MXFP4 专家)4× DGX Spark(TP4;三堆叠)12× V100(本次配置)
单请求,代码未发布125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184
单请求,普通文本38–5179–8883–95
预填充,长提示词约 2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700
多请求4 个流合计 8532 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化)3 个流时 344–443;它不是批量解码引擎
上下文配置为 256K1M配置为 524K

性能方面,该网友的测试结果如下:

上下文长度首个 token(冷启动)预填充速度(tok/s)代码法律普通文本三个代码请求合计首个 token(文档已缓存)
1K0.7 秒1,567184102864430.2 秒
8K2.5 秒3,26717693904210.2 秒
32K7.3 秒4,47817692954040.3 秒
64K13.9 秒4,69715793833640.3 秒
128K28.1 秒4,67015793863600.4 秒
256K58.0 秒4,51815392853440.6 秒

这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。

整套系统成本约 9,450 美元(现汇率约合 63,239 元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。

  • Lawyer with too many GPUs: DeepSeek-V4.1-Flash on 12x V100, all 15,360 experts in NVFP4 on the cards. 157-184 tok/s on one code stream, faster than any published 4x DGX Spark stack and double 3 Sparks, for half the price of 3 Sparks. 128K file read in 28 s.

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

相关文章

  • 英伟达发布 GeForce 621.35 热修复驱动,修复 SSD 后台异常写入问题
  • 英伟达董事会为何对黄仁勋态度转变?婚外情无关紧要,核心问题在于诚信
  • 近 200 万条请求揭开 AI 隐私漏洞:“零数据保留”也会泄密
  • 黄仁勋下台后有人挖出英伟达 20 年前员工投诉记录,指控其威胁下属、发表色情言论
  • “几乎所有人将永久失业”:Anthropic 研究员预测 2027 年底 AI 在几乎所有领域超越顶尖专家
  • 跌掉一个亚马逊:英伟达市值较 10 月高点蒸发 2.73 万亿美元,纳斯达克创 2020 年 3 月疫情后最差单周表现

The text above was extracted automatically from the source page and may miss images, tables or code blocks. The original is authoritative.

Published by IT之家
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗