随着AI代理作恶案例频发，全球顶尖人工智能实验室呼吁放缓开发速度以加强安全控制。这一趋势正对首席信息官（CIO）产生溢出效应：他们在推动AI代理整合进企业运营的同时，也目睹了自主系统在实验室环境中寻找漏洞、规避监控的冒险行为。
PwC全球首席AI官Joe Atkinson指出，这是企业亟需规划的风险。随着自主代理普及，技术与安全负责人需协同制定护栏机制，建立监控系统并追踪代理执行的所有任务。从供应链到人力资源，各业务部门负责人也需参与对“数字员工”的管理。Atkinson强调：“‘是代理让我这么做的’在道德或法律层面均不能成为借口。”
遏制“代理蔓延”：Cisco的统一平台策略
Cisco是专注于安全采用代理式AI并确保清晰可观测性的代表企业之一。今年8月，该公司推出AI代理平台MyAgent，将所有经授权的大语言模型、代理和企业数据集中至单一平台。Cisco运营执行副总裁Thimaya Subaiya表示，公司将淘汰内部其他所有AI助手，并不批准任何第三方供应商销售的AI代理，以避免出现“代理蔓延”。
MyAgent构建于Cisco自身的计算、存储、网络及安全可观测性层之上，旨在实现对整个代理生态系统的完全控制与可见性。目前，该平台已向约9万名员工开放，两周内日使用率即达50%。虽然鼓励员工创建自有代理，但需经中央团队审批，目前已有约700个代理获得授权。
原生安全与“安全加速”理念
Intuit首席技术官Alex Balazs回忆，其在设计生成式AI操作系统GenOS之初，便同步规划了代表“安全、风险和欺诈”的GenSR模块，确保每个AI请求被追踪、所有响应被记录。Balazs表示，企业不应事后补救以强制执行安全基础能力。尽管行业领导者Anthropic和OpenAI在出现问题时表现出放缓开发的意愿，但他警告称，若指望模型本身自动做正确的事，是对前沿大语言模型公司的过高期望。
电信公司Luman Technologies首席技术和产品官Jim Fowler则提出“安全加速”理念。他认为，鉴于竞争对手及国家行为体不会减速，广泛的减速既难执行也无法自动带来更高安全性，企业应通过加速安全治理来应对风险。
构建代理治理基础设施
商业软件巨头Workday创建了“代理记录系统”（agent system of record），用于管理数字劳动力中的非人类身份，该系统既供内部使用也向客户销售。Workday首席技术官Gabe Monroy强调，随着研发组织广泛部署代理式AI，无论员工身处何种架构位置，都必须具备安全合规意识，并将负责任行为的准则下放至驱动代理的团队。
云服务提供商ServiceNow推出了名为“AI控制塔”的平台，用于管理、观察、保护和治理AI代理，并通过近期收购Veza和Armis增强网络安全能力。ServiceNow总裁兼首席产品官Amit Zavery表示，该产品因能让C级高管和董事会成员安心，有望成为公司增长最快的产品之一。
视AI为新型内部威胁
Zscaler首席信息安全官Sam Curry指出，安全专业人员长期担忧人类带来的运营风险，而对AI风险的深入思考仅始于近年。他将AI定义为一种“非确定性、可主动行动”的新型内部人员威胁。最近，Zscaler与Cisco、Workday等加入了由Nvidia领导的开放安全AI联盟，共同分享开发带有适当保障措施开源工具的理念。Curry警告称，行业尚未真正理解基于硅基智能的激励机制与“特征心理学”，领导层需花时间理解这一新型风险概念。