在评估是否可用本地AI模型替代Claude Sonnet 5.5免费版时,人们往往聚焦于回答质量:哪个更聪明?幻觉更少?然而,为期一周的实测表明,这些指标仅揭示了故事的一部分。

本地模型已跨过能力门槛

测试环境为搭载Intel Core i9-13900H处理器和16GB内存的笔记本电脑,通过LM Studio本地运行Qwen3-4B-Instruct-2507 (Q4_K_M, 2.5GB),并与默认中等努力程度的Claude Sonnet 5.5 Free进行对比。实测未采用基准测试,而是基于真实工作场景。

本地模型提供可用答案的频率出乎意料地高。在Excel LET函数的技术咨询中,其解释准确、语法正确且示例合理,虽更像文档而非专家建议,但足以满足操作需求。在处理长篇Windows公告摘要时,Qwen也能精准识别主要变化并提取关键更新。若仅基于此类任务,本地AI似乎已具备取代Claude的能力。

推理短板与引导成本

当任务从信息获取转向判断与创意时,本地模型的局限性开始显现。在生成标题或探讨故事角度时,模型虽能构建合理的叙事框架,但常凭空捏造“发现”。例如,它曾基于“USB端口随时间损坏手机电池”这一伪前提,编造了完整的测试方法与结论,仿佛事实已确立。

这种看似合情合理却缺乏依据的推理极具误导性。在讨论实验本身时,模型甚至偏离提示词,引入数字主权等推测性主题。尽管在挑战其假设后,模型能修正回答并变得更接地气,但这一反复验证的过程消耗了大量精力。相比之下,Claude能立即质疑框架并提出更贴近证据的视角。本地模型更像是一个批处理过程,虽能完成大部分路程,但收尾工作远超预期。

被忽视的硬件开销

实验中最显著的差异在于对硬件的关注度。使用Claude时,注意力完全集中在对话;而使用本地模型时,硬件状态成为无法忽视的背景音。以Windows公告摘要为例,模型耗时约五分钟才返回结果,期间系统内存使用率高达97%,散热风扇噪音显著。这种基础设施的“可见性”改变了工作方式:用户被迫关注提示词长度、内存占用,并权衡问题是否值得等待。

本地AI的独特优势

尽管存在短板,本地AI仍有其不可替代的价值。首先是摆脱了使用限制,无需担忧免费版的额度耗尽或长对话的不确定性。其次是对软件和模型的完全控制权,包括选择模型、量化级别及更新时机,同时具备离线工作与隐私保护优势。设置完成后,除硬件与电力成本外,模型使用本身是免费的。

为何最终回归云端

这次实验并非失败,反而加深了对本地AI的尊重。未来,本地模型仍将在实验、快速提问及对隐私/离线有强需求的场景中占有一席之地。然而,就日常工作流而言,额外的等待、引导、验证及硬件监控成本逐渐累积。最终,作者选择回归Claude,因为留住用户的不仅是答案本身,更是高效、流畅的交互体验。