将旧硬件改造为自托管工作站是复用计算设备的高效途径,尤其适合运行轻量级自由开源软件(FOSS)容器。尽管本地大语言模型(LLM)通常依赖专用显卡算力,但即便是一十年前的显卡,配合合适工具也能胜任推理任务。

作者在Pascal架构GTX 1080验证可行性后,进一步在一台服役多年的Acer Predator Helios 300游戏本(搭载GTX 1060)上成功部署LLM,并将其打造为家庭本地AI工作站。

Proxmox VE + llama.cpp:老旧显卡的推理方案

为获得比SSH命令行更便捷的管理体验,作者选择Proxmox VE (PVE) 作为底层系统。针对已停产显卡,Nvidia今年早些时候发布的新驱动修复了Pascal架构在安装时的DKMS错误,确保GTX 1060在PVE中状态正常。

在推理引擎选择上,相较于表现略显迟缓的Ollama容器,作者采用llama.cpp的Vulkan版本构建LXC(轻量级系统容器)。该方案后端配置简便,且能为GPU辅助推理提供稳定性能。配置过程中,只需将GTX 1060设备ID直通至LXC配置文件,并安装libvulkan-dev、spirv-tools等依赖包。关键步骤是在/usr/share/vulkan/icd.d/nvidia_icd.json中添加特定代码片段以指定库路径和API版本,随后通过CMake构建Vulkan后端即可就绪。

Gemma 4 E4B:小显存下的均衡之选

鉴于GTX 1060仅配备6GB显存及笔记本16GB LPDDR4内存的限制,作者放弃庞大的MoE模型,选用Gemma 4 E4B (Q4_K_M)。该模型总参数量8B,但推理时仅激活4.5B参数集,完美适配老旧硬件。凭借逐层嵌入和多模态能力,其足以满足FOSS工具的简单推理需求。

实测显示,基于Vulkan后端的llama.cpp服务器每秒可输出30+个token。由于推理主要在GPU显存中进行,系统内存充裕,作者得以在同一笔记本上以LXC形式部署多个自托管服务,并将AI请求指向llama-server:

  • Blinko:利用Gemma 4 E4B自动标记笔记;
  • Karakeep:为收藏的网站、文档及YouTube视频生成简短摘要;
  • Paperless GPT:生成准确OCR结果并同步至NAS上的Paperless-ngx实例。

散热与电池管理的必要 precaution

将笔记本作为24/7运行的服务器存在隐患。长期插电可能导致电池鼓包甚至引发火灾。作者通过Home Assistant搭建自动化方案:监测PVE上Glances服务器提供的电池数据,动态控制连接充电器的智能插座启停,避免电池长期处于100%满电状态。

此外,严禁合上笔记本盖子运行。LLM推理产生的高热量若无法通过键盘区域散发,可能损坏屏幕和键盘组件。

尽管这款老式游戏本已无法流畅运行现代游戏,也无法像RTX 3080 Ti那样处理复杂的编码或逆向工程MoE模型,但在自动标签、OCR和摘要等轻量级AI任务中,它依然能发挥余热,成为高效的本地AI工作站。