新购的笔记本电脑很可能配备了一块神经网络处理单元（NPU），但这块芯片目前几乎处于闲置状态。NPU是一种专为低功耗运行AI负载设计的硅片，其功耗仅约2W，远低于执行相同任务时功耗超100W的标准独立显卡。尽管并非所有笔记本都搭载NPU，但它已成为中高端机型的标准配置。
咨询机构Gartner估计，具备AI能力的PC已占全球总出货量的一半以上。这一现象并非源于买家的实际需求，而是为了满足认证门槛。2024年，微软规定，新款机器若想获得Windows AI功能访问权限，必须配备性能达40 TOPS（每秒万亿次运算）的专用NPU。这导致NPU硬件销量激增，但软件生态却严重滞后。
NPU专注低功耗AI推理
NPU的核心任务是加速“推理”过程，即运行模型，而非GPU主导的“训练”阶段。它专为高效执行矩阵乘法和非线性激活函数而设计，虽牺牲了部分通用计算的灵活性，但在能效上优势显著。
以视频会议的背景模糊功能为例，该功能在CPU或GPU上运行会消耗大量电力并产生热量，而NPU能以极低能耗持续运行此类任务，避免耗尽电池或触发风扇噪音。然而，NPU并不适合训练AI模型，也无法替代拥有充足显存的独立显卡来运行Llama 70B等大型本地大语言模型。对于ChatGPT或Gemini等云端服务，NPU同样非必需。目前，其实际应用场景仅限于网络摄像头特效、噪音抑制、实时翻译和本地搜索索引等始终在线且低功耗的场景。
微软认证推动硬件军备竞赛
笔记本厂商纷纷搭载NPU，主要是为了获取微软“Copilot+ PC”认证。该认证要求设备具备40 TOPS的NPU、16GB内存和256GB存储空间，以此解锁特定的本地Windows AI功能。值得注意的是，这40 TOPS必须来自NPU，GPU的张量核心性能不计入内。
硬件迭代迅速：高通Snapdragon X Elite/Plus的Hexagon NPU性能为45 TOPS；英特尔Lunar Lake最高达48 TOPS，基于Intel 18A工艺的Panther Lake（Core Ultra Series 3）达到50 TOPS；AMD Ryzen AI 300同样为50 TOPS。今年晚些时候，高通Snapdragon X2 Elite更将这一数字推高至85 TOPS。尽管能充分利用这些算力的软件依然稀缺，但NPU正逐渐成为笔记本的必选项，戴尔等企业级产品已开始植入相关技术。
用户可以通过Windows 11任务管理器查看NPU利用率。在多数普通用户的设备上，这一数值往往为零。
实际应用：能效优势明显但生态匮乏
目前依赖NPU的应用寥寥无几，主要包括Windows Studio Effects、实时字幕、Recall、Click to Do、Teams和Zoom的噪音抑制，以及Adobe Creative Cloud的部分功能。
实测显示，在一台配备34 TOPS平台算力（其中11 TOPS专属于NPU）的笔记本上运行Mistral 7B开源模型，NPU利用率高达98%，而CPU利用率仅为3%。相比之下，若使用Ollama在NPU之外运行同一模型，CPU利用率将跃升至52%，内存占用约17GB，可能导致系统在多任务处理时停滞。这印证了NPU的价值：在处理AI负载时不影响系统其他部分的性能。然而，实现这一优势通常需要特定的工具包和技术知识，原生支持NPU的软件仍然极度匮乏。