旗舰手机离线AI速度反超老旧PC，内存带宽成关键

曾在本地离线运行大型语言模型，意味着必须依赖高性能台式机。但这一认知已被打破。实测显示，在特定硬件环境下，Google 的一款手机应用运行同一模型的速度，明显快于 PC 端的 Ollama，其背后原因颇具启示意义。

Google AI Edge Gallery 正在重塑端侧 AI 的体验。这款免费开源应用（Apache 2.0 许可证）已在 Play 商店和 App Store 上架。尽管仍带有“实验性”标签，但其成熟度已足以支撑日常使用，而非仅作为一次性演示。

其运作逻辑直观：用户浏览开放模型列表（含 Google Gemma 4 系列），下载适配机型版本，即可在设备 CPU 或 GPU 上本地运行。部分模型托管于 Hugging Face，需登录并接受协议后下载。一旦模型落地手机，全程无需联网，提示词数据不出设备，极大满足了隐私需求。

在 Google Pixel 9 Pro 和 iPhone 18 Pro Max 上运行 Gemma 4 E4B 模型时，体验超出预期。回复几乎即时呈现，文字流出速度接近甚至超越云端聊天机器人。除纯文本对话外，该应用还支持图像描述、音频转录翻译，并在部分模型中展示逐步推理过程。

当然，局限依然存在。大模型占用数 GB 存储空间，加载时偶有卡顿，小内存手机只能选择较小模型。但在飞行模式下获得连贯、快速回答的瞬间，足以证明口袋里的手机正在完成电脑难以胜任的任务。

Ollama 是 PC 端运行本地模型的热门工具，兼容 Windows、macOS 和 Linux，安装便捷。然而，在配备 Ryzen 9 5900X、Nvidia RTX 3070 GPU 和 32GB 内存的电脑上加载相同模型时，生成速度显著慢于手机端，耗时多出数秒甚至数分钟。

核心差异在于内存带宽。文本生成性能更取决于硬件将模型权重从内存传输至计算芯片的速度，而非单纯算力。每个 Token 生成都需读取大量数据，“管道”宽度决定了性能天花板。

现代旗舰手机采用高速 LPDDR5X 内存，与 CPU、GPU 及神经网络硬件集成于单一芯片，数据传输路径短且宽。相比之下，使用双通道 DDR4 的旧式台式机，可用带宽反而可能不及当前旗舰手机。

GPU 支持是另一关键变量。Ollama 官方支持 Nvidia 计算能力 5.0+ 显卡及部分 AMD 显卡（通过 ROCm）。若 GPU 无法正确调用或显存不足，负载将溢出至 CPU，导致性能断崖式下跌，因为桌面处理器通过系统 RAM 的数据吞吐难以跟上节奏。

软件层面亦存在差异。AI Edge Gallery 采用 Google LiteRT 运行时格式，针对移动芯片进行激进量化和优化。Ollama 追求跨平台通用性，硬件特定优化较少。针对特定硅片优化的模型，往往能在老旧硬件上击败通用配置。

这并非意味着手机 AI 性能已全面超越 PC。上述对比更多反映了测试用电脑的老旧，而非台式机的普遍局限。若配备显存充足的近期显卡，Ollama 运行同一模型的速度几乎肯定远超手机，并能承载无法装入手机的大型模型。

拥有 12GB 及以上显存的现代 Nvidia 显卡，可将中型模型完全保留在专用图形内存中，其带宽优势是手机芯片无法比拟的。Apple Silicon Mac 同样表现强劲，Ollama 利用 Metal API 加速，借助高速统一内存架构，消除了类似瓶颈。

此外，结果高度依赖手机型号。顶级旗舰与中端或老款机型表现天壤之别。即便在高端手机中，AI Edge Gallery 的表现也存在差异。应用内置基准测试是评估设备性能的最简途径。

在质疑 Ollama 之前，建议先检查设置。运行 `ollama ps` 确认模型加载位置（GPU/CPU）。若仅使用 CPU，更新驱动、选择更小模型或采用更激进量化，可大幅缩小差距。唯有在自身硬件上同时测试，才能确定最优方案。

凭借高速统一内存和移动端专属优化，运行 Google AI Edge Gallery 的旗舰手机，在老旧台式机上可超越 Ollama。但配备强力 GPU 的新款 PC 依然轻松胜出。真正的启示在于：在预设台式机更快之前，应先对自身硬件进行基准测试。