Nvidia RTX Spark在技术规格上符合Copilot+认证标准,内置NPU算力达50至55 TOPS。然而,微软的Recall、Click to Do等端侧AI功能目前在该设备上尚不可用,预计需数月后才能推出。在此期间,通过本地部署Qwen 3.8 Flash Next模型,成功验证了端侧大模型的自主开发潜力。

单一提示驱动的全自主开发

测试中,作者在RTX Spark上通过llama.cpp运行Qwen 3.8 Flash Next模型。该模型拥有1250亿参数(其中60亿为活跃参数),采用Unsloth IQ4_XS量化版本,上下文窗口达262K,支持视觉功能及MTP推测解码,生成速度约为每秒45至50个token。

作者仅输入一条包含四项功能需求(Recall、Click to Do、实时字幕、纯文本搜索)的系统托盘应用指令,并设定严格规则:模型需在本地运行,共享内存与GPU,禁止交互llama.cpp服务器,且无管理员权限。在缺乏外部搜索权限(SearXNG配置错误)及部分Python库缺失Windows Arm64版本的不利条件下,模型完全自主地进行了代码编写、测试与调试。

克服平台限制与技术漏洞

面对PyTorch、OpenCV等主流库缺乏Arm64支持的困境,模型自主寻找替代方案。它放弃PaddleOCR计划,转而调用Windows自带的Media.Ocr引擎,实现92毫秒内读取高分辨率截图;在音频捕获遇到COM接口GUID错误时,通过分析pycaw和soundcard源码修正参数,成功实现系统音频转录。

在长达近6小时的“浸泡测试”中,模型独立发现并修复了多个关键漏洞:包括因Token预算限制导致的搜索延迟(从25秒优化至0.5秒)、系统托盘模式下Recall捕获黑屏问题,以及因SQLite未关闭事务导致的数据丢失风险。此外,模型还主动清理了索引中占比45%的无关配置文件,并将测试数据隔离,展现出对环境的高度感知与自我修正能力。

性能表现与局限

整个开发过程耗时5小时41分53秒。模型共处理约6850万个输入token(主要得益于提示缓存),生成370,010个输出token,发起539次工具调用。尽管预填充时间在长上下文下显著增加了耗时,但模型最终交付了一个可运行的“Spark Copilot”应用。

作为首次迭代,该应用仍存在局限:实时字幕非原生置顶、文件索引需手动启动、OCR及翻译仅支持有限语言。文档中存在日期错误及部分冗余代码,但整体结构清晰、注释良好。此次实验证明,即便在缺乏常用库和网络搜索辅助的情况下,具备足够算力的端侧模型仍能完成复杂的全栈开发任务,为本地AI代理的应用前景提供了有力实证。