
一位家庭实验室(Homelab)搭建者利用三张二手英伟达 V100 显卡,对 Qwen 3.6 35B 模型进行了基准测试。这套由“电子垃圾”级 GPU 组成的定制配置总成本仅为 1,042 美元,却实现了每秒约 100 个 token 的生成速度。相比之下,在同一平台上运行的参数更密集的 Qwen 3.6 27B 模型,性能仅为每秒 24 个 token。此外,在处理相同任务时,V100 的能耗仅为同等数量 P100 显卡的一半。
硬件配置与成本拆解
此次测试旨在探索退役企业级 GPU 的性能潜力。所有构建均基于统一的硬件平台:Supermicro X10DRG-Q 双路主板,搭配两颗 Intel Xeon E5-2687W 十二核处理器,并由 Corsair HX1500i 电源供电。由于旧款显卡发热量大且无自带散热,搭建者为每张显卡 3D 打印了涡轮风道并开发了独立散热器。
以下是三卡配置的成本估算(注:价格基于 eBay 市场参考价,总价含一颗 CPU,未计入内存、存储及机箱等):
| 部件 | 3x K80 | 3x P100 | 3x V100-16GB |
|---|---|---|---|
| 三张显卡 | $270 | $403.50 | $655.16 |
| 主板 | $211 | $211 | $211 |
| 电源 | $147.70 | $147.70 | $147.70 |
| 一颗 CPU | $28.20 | $28.20 | $28.20 |
| 总计(单CPU) | $657 | $790 | $1,042 |
选择三张显卡是因为主要测试模型 Qwen 3.6 35B 在使用单张或双张显卡进行 Q8(8 位量化)时无法正常运行。性能评估以每秒 70 个 token 作为“实时交互”的达标标准。
性能基准:MoE 架构优势显著
测试使用 llama.cpp 框架,涵盖 Qwen 2.5、Gemma 4 及 Qwen 3.6 等超过 130 个大语言模型用例,精度涉及 Q4/Q8/F16,上下文窗口从 4K 至 128K 不等。Qwen 3.6 35B 作为混合专家(MoE)模型,每个 token 仅激活约 30 亿参数,这在推理效率上带来了显著优势。
在 Q8 精度下,三张 V100 运行 Qwen 3.6 35B 的表现如下:
- 4K 上下文:100.8 tokens/s
- 32K 上下文:89.4 tokens/s
- 64K 上下文:83.5 tokens/s
- 128K 上下文:72.7 tokens/s
即使在 128K 长上下文下,速度仍高于每秒 70 个 token 的可用标准。相比之下,非 MoE 架构的 27B 模型在相同条件下的速度仅为 14.2 至 24.3 tokens/s,MoE 模型的速度快了四到五倍。
若将量化等级降低至 Q4,两张 V100 即可在 4K 至 128K 上下文范围内以 77.1 至 105.4 tokens/s 的速度运行 Qwen 3.6 35B。这印证了一个观点:增加显卡数量主要提供更多显存以支持更大模型,而非直接线性提升推理速度。
竞品对比:性价比凸显
与现代高端硬件相比,这套退役显卡配置表现出人意料的竞争力:
- Mac Studio (M5 Max):在 4K 和 32K 上下文下,配备 40 核 GPU 和 128GB 统一内存的 M5 Max 略占优势;但在 64K 和 128K 长上下文下,V100 集群实现反超,在最长上下文时领先幅度达 19%。需要注意的是,由于运行时环境不同,数据仅供参考。
- Nvidia DGX Spark:在使用 Ollama 思考模式配合短提示词的测试中,DGX Spark 的速度为每秒 45.8 个 token,不到 V100 在 4K 上下文下速度的一半。
- P100/K80:P100 处理相同任务的速度仅为 40.2–55.2 tokens/s,仅在运行极小模型(如 Qwen 2.5 3B)时才能达标;K80 性能则更弱。
当然,现代旗舰 GPU 依然拥有压倒性优势。在推理服务提供商 Parasail 提供的专用资源测试中,两张 H100 在 128K 上下文下可实现每秒约 315 个 token,单张 B200 更是达到每秒约 455 个 token。尽管 B200 运行的是全 16 位模型,而 V100 仅运行 8 位模型,但 B200 的速度仍是 V100 集群的六倍左右。
能耗分析与未来计划
在能效方面,V100 优势明显。处理 128K 上下文下的 35B 模型时,V100 仅需约 0.02 kWh,而 P100 能耗是其两倍,K80 则高达 0.35 至 0.45 kWh。数据显示,V100-16GB 在消耗更少能量的同时取得了更好的成绩。
搭建者表示,目前正基于 V100 集群日常运行 Qwen 3.6 35B,但也指出堆叠退役 GPU 的性能提升存在上限。未来,他计划建立映射“软件工厂”性能的基准测试,关注全天候持续提示场景下的表现。此外,一款独立的散热器即将发布,目前正在招募 Beta 测试用户。后续还计划对比不同推理后端,并引入投机性解码(speculative decoding)以进一步优化性能。