一位律师将其私人AI服务器从8张二手Nvidia V100显卡升级至12张,该配置能够以4位NVFP4精度运行DeepSeek V4.1 Flash的所有专家模型。其代码生成性能达每秒184个Token,长文档响应时间缩短一半。据悉,该系统硬件成本为9,450美元,仅为三台DGX Spark单元价格的一半,但在单请求解码速度上已超越官方发布的DGX Spark堆栈。

显存扩容与精度还原

Nick Mermiges在此次升级中引入了第三块V100显卡板,总计12张显卡,每块板卡配备四张。此前,8张32GB显卡仅提供254 GiB显存,而DeepSeek V4.1 Flash的专家模块在NVFP4标准下需278.9 GiB。为解决显存不足,他此前曾将所有专家以2位精度存储,仅将高频使用的5,949个专家切换为NVFP4格式。

升级后,15,360个专家均可完整驻留于显存中,无需进一步压缩。Mermiges表示,这些专家的值“等同于DeepSeek官方发布版本中的值”,尽管模型其他部分仍采用紧凑形式。

技术瓶颈与架构优化

V100显卡并不具备FP4或FP8 Tensor核心,因此每个NVFP4数值需在软件中解包并转换为半精度。该方案的优势并非提升计算速度,而是通过紧凑格式减少卡片读取的字节数,从而使2018年的硬件得以运行Blackwell时代的格式。

在架构布局上,模型层被分配至三块板卡:0-13层、14-27层和28-39层。同一板卡内的四张显卡通过NVLink高速互联;板卡间通信则依赖PCIe交换机。前两块板卡共用PEX88096交换机,通信保持在交换机内部;第三块板卡位于PLX 8749之后,其通信需穿越主机PCIe桥接器,从而增加了一定延迟。

通过调整设置,将每张显卡功耗上限从150瓦提至175瓦,时钟频率上限从1,522 MHz降至1,452 MHz,系统在性能和精度上均获得显著提升。

性能实测与后续计划

测试数据显示,在256K上下文长度下,首个代码Token生成时间为58秒,较升级前的108.4秒快近一倍。在32K以上长度时,提示词读取速度约为每秒4,500个Token,是初版构建(约每秒2,200个Token)的两倍以上。代码解码在1K长度下提速23%,但在32K及以上长度未见实质性增益,主要提升在于降低首Token等待时间。

Mermiges曾尝试将显卡功耗推高至200瓦,但导致主机在处理四个并发长对话时宕机。此外,因未达预期目标,对话存储、精简区块交接等四项优化功能被迫禁用。

在并发测试中,三个128K长度的请求在代码任务上总吞吐量约为每秒360个Token,法律任务为每秒213个Token。他指出,由于请求数量超过分区数量,批量解码收益甚微。未来,他计划在Reddit上研究批量解码技术,并启用对话存储功能以保留案件文档。自周一以来,该设置已成为其默认的DeepSeek运行环境,他评价该模型体验“像Opus 4.6那样好用”。