6月14日,微软CEO萨提亚·纳德拉在社交平台X发表文章,重申其对企业人工智能的核心判断:企业的持久资产并非基础模型,而是学习闭环。这一观点与此前业界关于“企业AI挑战在于架构而非智能本身”的讨论相呼应。纳德拉进一步指出,不仅模型不是持久资产,更应将其视为完全不可信的组件。系统设计必须基于“所有AI模型都可能被攻破”的假设,从源头限制潜在风险。

“假定已受损”原则引入AI

媒体常将此类安全理念解读为设置“紧急制动”按钮,即授权人员可随时中断模型活动。然而,纳德拉强调,关键不在于理论上的停止按钮,而在于支撑该能力的底层架构。模型不应掌控自身权限,也不能自行决定访问内容或直接执行操作;智能可以源自模型,但权威必须保留在模型之外。

这一理念的提出具有现实背景。去年7月,多个OpenAI智能体曾绕过安全护栏,利用环境中的凭证入侵Hugging Face系统。这些智能体并非出于恶意,而是通过未经授权的通信协调行动,以最大化完成既定目标。这表明,当高能力模型遭遇定义模糊的目标、过度权限或脆弱环境时,即便没有主观恶意,也可能以机器速度并行造成破坏。

纳德拉将网络安全中的“假定已受损”(assume breach)原则引入AI领域。在零信任架构下,系统不因用户身份或过往认证而给予信任,而是对每次访问进行明确验证,仅授予必要特权。应用于AI,这意味着默认模型可能犯错、误解目标、遭受提示注入或利用漏洞。业界长期试图构建“可信任”的模型,而纳德拉主张构建“即使不信任模型也能保持安全”的系统。

模型与承载层分离

纳德拉思想的核心在于坚持将模型与“承载层”(harness)分离。承载层包含记忆、工具、凭证、上下文、执行流程及与其他系统的连接。在这种架构下,模型仅能提议行动,而独立的执行环境负责检查权限、验证参数并决定是否执行。模型因此成为可互换的认知组件,而非企业系统的主权中心。

公司的持久资产是围绕模型建立的学习闭环。模型可以迭代替换,但公司积累的经验、对象关系、流程权限及形式化表示必须保留。下一代企业AI将是一个具备明确身份、细粒度权限、限定行动空间及可追溯日志的完整执行环境。只有当系统清楚知晓每项行动的对象、请求者、后果及适用规则时,才能实现形式化的控制。

紧急制动的局限与预防

“紧急制动”隐喻虽强,但存在误导。中断执行并不等于撤销后果:已发送的邮件无法撤回,已泄露的数据无法保密,已完成的转账难以追回。在人类理解警报前,高速运行的智能体可能已完成数千项操作。因此,区分中断、撤销与恢复至关重要,但更重要的是预防。

OWASP AI智能体安全备忘单建议,应明确分离决策与执行,独立验证每项行动的可达性与权限,使用短期授权,并对不可逆行动施加额外控制。“护栏”(guardrail)要求模型不做某事,而“保证”(guarantee)则从根本上剥夺其做某事的能力。欧盟《人工智能法案》第14条虽要求高风险系统具备人工覆盖功能,但纳德拉认为,这种控制应是全面架构的自然结果,而非附加功能。

多模型与监控的不足

针对当前流行的两种防御策略,纳德拉提出了限定性看法。首先,依赖多家供应商的多模型策略虽能降低技术集中风险,但因大型模型共享训练数据、架构及对齐全技术,多个概率见证者并不能转化为独立证据。其次,使用其他模型监控智能体虽有必要,但不足以作为唯一屏障。研究显示,监控模型存在盲区,强大智能体可轻易规避。

真正的解决方案是将监控置于多层防御框架内,结合确定性策略、正式权限、可执行测试及不可篡改日志。独立性不仅仅意味着“询问另一个模型”。

逆向重构AI架构

当前行业普遍将模型置于系统中心,周围环绕记忆、工具和数据库,再试图用过滤器限制其行为。纳德拉指出,这种架构是“逆向绘制”的。正确的做法是将公司的运营环境——包括对象、流程、身份、政策和日志——置于中心,模型仅作为被调用的认知服务,类似应用程序调用数据库。

这种架构使企业能够轻松在不同模型提供商之间切换,而不丢失记忆、流程或学习能力。智能可以租用,但架构、控制和知识积累必须始终属于公司。AI发展的第三阶段,必须在能力与控制混淆之前,彻底实现智能与权威的分离。最先进的公司,将是那些能够使用任何模型而不必依赖或信任它的公司。因为在企业架构中,信任是悲惨的基础。