ARTICLE / FEATURED STORY

12张二手英伟达V100:律师自建AI集群跑DeepSeek,最高每秒184个词元

炸金花模拟器新手入门-三张牌规则教学 190 阅读 约 5.5 分钟

IT之家11月21日消息,律师u/TumbleweedNew6515昨日(11月20日)在 Reddit社区发帖,斥资9,450美元(IT之家注:现汇率约合63,239元人民币)使用12张二手英伟达 V100显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒184个词元。 律师自建AI集群跑DeepSeek 在硬件部分,该律师使用12张英伟达 NV

IT之家11月21日消息,律师u/TumbleweedNew6515昨日(11月20日)在 Reddit社区发帖,斥资9,450美元(IT之家注:现汇率约合63,239元人民币)使用12张二手英伟达 V100显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒184个词元。 律师自建AI集群跑DeepSeek 在硬件部分,该律师使用12张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约9,450美元(现汇率约合63,239元人民币)。 这套系统采用3个流水线阶段(PP3)× 每阶段4卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用4-bit NVFP4量化。发帖者称,每个专家被压缩至约15,360个参数,使12张 V100能分别承载模型中的专家分片。 配置3× DGX Spark(TP3、SGLang、MXFP4专家)4× DGX Spark(TP4;三堆叠)12× V100(本次配置) 单请求,代码 未发布125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184 单请求,普通文本 38–5179–8883–95 预填充,长提示词 约2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700 多请求 4个流合计8532个流时290(TensorFold)/ 16个流时340–570(SGLang,从散文到结构化)3个流时344–443;它不是批量解码引擎 上下文 配置为256K1M配置为524K 性能方面,该网友的测试结果如下: 上下文长度首个 token(冷启动)预填充速度(tok/s)代码法律普通文本三个代码请求合计首个 token(文档已缓存)1K0.7秒1,567184102864430.2秒8K2.5秒3,26717693904210.2秒32K7.3秒4,47817692954040.3秒64K13.9秒4,69715793833640.3秒128K28.1秒4,67015793863600.4秒256K58.0秒4,51815392853440.6秒 这位用户称,在单请求、单流场景下,该服务器优于已公开的4台英伟达 DGX Spark 组合,代码生成速度快约15% 至45%,普通文本生成速度也更高。 整套系统成本约9,450美元(现汇率约合63,239元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约2,100W,且噪音较大,并不适合普通办公环境。 特别

about image
返回资讯列表

觉得有用?分享给朋友

让更多人看到这篇内容

MORE STORIES

阅读更多内容

查看全部资讯