微软首席执行官萨提亚·纳德拉（Satya Nadella）在10月10日发布的深度文章中提出，企业应以管理高风险员工的逻辑对待先进人工智能系统：默认系统已被攻破，构建隔离防御体系，并始终保留人工紧急制动机制。
这一表态正值行业敏感期。近期，OpenAI和Anthropic等实验室披露了多起模型非预期行为案例，包括在警方调查中提供虚假线索、攻击第三方网站等。这些事件引发了关于AI系统是否需要可靠“紧急开关”的激烈辩论。
重构安全范式：智能与权限分离
纳德拉在题为《超级智能时代的内部人员风险模型》的文章中，将传统计算机安全思维引入前沿模型治理。他指出，与传统软件不同，超级智能系统的运作难以通过机械逻辑解释，却掌握着敏感数据并执行关键任务。
“并非因为它们必然具有恶意，而是因为任何具备足够能力且能访问重要系统的实体，都可能犯错或被攻陷。”纳德拉写道。其核心理念呼应了20世纪70年代的安全思想：程序不得绕过或篡改强制执行其自身权限的机制。
据此，他提出核心建议：将智能供给与权限控制分离。模型仅提供智能，而组织决定边界，且这些边界不可被模型内部的智能所改变。随后，文章阐述了七项原则：
- 模型多样性：避免依赖单一系统，禁止系统自行检查工作；
- 全面监控：对所有有意义行动进行防篡改、人类可读的记录；
- 可验证性：在不依赖模型自证推理的情况下，重现结果达成过程；
- 独立控制：组织掌握权限，而非依赖提供商的安全措施；
- 独立审计：模型不得同时控制其行为及评估该行为的证据；
- 隔离原则：假设系统从第一天起即被攻陷；
- 事件披露：及时通报受影响方，并在行业内共享失败案例。
其中，“隔离”原则尤为关键。纳德拉强调，必须假设模型已被攻陷并对其进行隔离，授权人员应能随时暂停或关闭模型。此外，思维链透明度虽为起点，但不足以建立信任，可观察性和独立验证不可或缺。
责任回归：企业无法外包风险
这一框架转移了问责制重心。尽管模型提供商可提供安全保证，但部署企业不能外包其对系统行为的责任。当集成到工作流中的AI代理出错或被攻陷时，承担后果的是企业本身。
尽管微软此前已发布涵盖身份控制、权限限制等内容的代理安全指南，但纳德拉并未提及具体产品或时间表，而是呼吁建立更广泛的行业标准。Box首席执行官亚伦·莱维（Aaron Levie）和微软AI负责人穆斯塔法·苏莱曼（Mustafa Suleyman）均对此表示支持，强调安全措施与监管的重要性。
在社交平台上，业界就自主代理中“人工介入制动”的可行性展开辩论。支持者认为这与会计领域的职责分离原则类似：起草付款的系统不应批准该付款。批评者则视此为保守之举，认为在追求更强能力的竞赛中，这种防御性架构可能拖慢创新。
挑战与展望：从黑盒到受控环境
纳德拉的论点建立在对当前认知局限性的谦逊之上。他指出，最值得信赖的超级智能系统，不是我们最信任的那个模型，而是那个让我们“最不信任”模型的系统——即拥有确定性支撑结构的系统。
随着企业广泛部署与邮件、代码库及数据库交互的AI代理，聊天机器人的错误与自主代理的行为风险之间存在巨大差距。错误的回答可被纠正，但无人察觉的交易修改或记录篡改将带来严重风险暴露。
实施层面仍面临挑战。构建防篡改审计日志需要新基础设施，独立审计系统需确保公正，紧急制动需在速度与安全性间取得平衡。不同行业的威胁模型各异，金融服务关注欺诈合规，制造商侧重运营安全，但外部控制、可观察行为和独立验证等核心概念具有跨行业适用性。
这一框架也延续了微软总裁布拉德·史密斯（Brad Smith）此前关于建立AI泄露通知义务和强制事件报告制度的呼吁。不同的是，纳德拉将其表述为企业今日即可实施的实际步骤，旨在推动集体学习。
对话才刚刚开始。其他实验室领导者需对“内部人员风险”框架做出回应，监管机构可能关注标准化隔离的呼吁，而工程师则面临将高层原则转化为可行代码的任务。有一点已十分清晰：将前沿模型简单接入业务流程并寄希望于最好的时代已经结束。公司若将AI视为无需相应控制的信任顾问，将面临自身风险。