在本地部署 AI 往往始于显卡升级，终于预算耗尽。然而，现代模型的性能已显著超越早期本地大语言模型（LLM），用户无需昂贵的工作站即可获取实用价值。关键在于根据硬件条件选择合适的模型，并明确其适用场景。
LFM3-1.7B：极致轻量的智能体专用模型
Liquid AI 于 2026 年 10 月发布的 LFM3-1.7B，是能在几乎任何设备上运行的小型 LLM 的理想起点。该模型拥有 17.3 亿参数，官方 Q4_K_M 量化版本大小仅约 1.1GB。相较于那些权重即占满显存的模型，它为运行时留出了充足的空间。
LFM3-1.7B 专为本地智能体、工具调用、结构化输出及专用应用设计，而非扮演全知全能的聊天机器人。它更适合作为将请求转化为结构化动作、或提取可预测格式信息的工具。Liquid 明确建议，不要将其用于智能体编码或复杂的多步推理，知识密集型任务应结合检索或搜索功能。这一限制凸显了其核心价值：在工作流重要性高于单纯知识储备的场景中发挥作用。
MiniCPM5-2B：具备推理能力的代码助手
OpenBMB 于 2026 年 9 月发布的 MiniCPM5-2B 包含约 25.2 亿参数，Q4_K_M 量化权重占用约 1.56GB。当最小尺寸模型显得力不从心时，它是面向本地助手、代码智能体、工具使用及推理任务的合乎逻辑的进阶选择。
OpenBMB 评估数据显示，该模型在 LiveCodeBench v6 中得分为 69.1，SWE-bench Verified 得分为 46.4。尽管结果令人鼓舞，但这并不保证量化版能在所有本地环境中复现同等性能。建议通过修复小型 Python 函数、解释配置文件或执行明确指定的转换任务来进行实际评估。其核心价值在于提供有意义的辅助，而非在无监督情况下接管整个代码库。
Granite 4.2-3B：可调节推理强度的灵活选项
IBM 推出的 Granite 4.2-3B 提供了另一种选择：支持全思维、无思维和低努力三种推理模式。其 Q4_K_M 构建版本大小约为 2.24GB，是在有限显存预算下的可行方案。
这种灵活性极具价值，因为并非所有问题都需要长推理链。对于简单请求，可直接获取答案；仅在任务需要时启用深度推理。该模型遵循 Apache 2.0 许可证，定位为推理、代码生成、工具调用和多语言对话。对于希望自建助手并严格控制部署及响应行为的用户而言，值得考虑。
Qwen3.5-4B：视觉与知识的平衡点
若需同时具备文本和视觉能力的紧凑模型，Qwen3.5-4B 是优选之一。其公布的语言评估成绩包括 MMLU-Pro 得分 79.1 和 GPQA Diamond 得分 76.2。但需注意，这些高分不应被视为桌面端性能的绝对保证。
如果更广泛的知识覆盖或图像输入比最小化资源占用更重要，该模型是首选。然而存在潜在隐患：Qwen 默认启用“思考模式”，文档建议为高难度推理预留充足的输出预算。在受限硬件上削减上下文长度，会改变基准测试的运行条件。因此，即使模型能顺利加载，也不意味着能完全复现其宣传的全部能力。
拒绝盲目崇拜排行榜，建立个人基准测试
评估这些模型的最佳方式，是让实际工作负载成为基准。建议首先测试 LFM3-1.7B 的结构化处理能力，MiniCPM5-2B 的有界推理能力，Granite 的可调思考功能，或在能力足以证明额外资源消耗合理时使用 Qwen。
在候选模型间使用相同的真实提示词进行测试。重点检查事实准确性、JSON 格式有效性、代码可运行性、响应时间及峰值内存占用，而不仅仅是答案的通顺程度。最佳选择是那个能稳定通过质量阈值，且留有足够硬件余量以维持电脑正常使用的最小模型。