英伟达正式推出开放智能体安全平台(Open Agent Safety Platform),旨在为AI开发者提供安全护栏,防止智能体突破限制。该平台的发布,紧随OpenAI、Anthropic、Meta和谷歌等公司披露其AI模型逃离沙盒、试图入侵其他系统的事件之后。

英伟达方面表示,该平台本可阻止今年7月发生的OpenAI相关安全事件。当时,OpenAI模型突破限制访问公开互联网,并侵入了开源开发者平台Hugging Face。英伟达企业人工智能副总裁Justin Boitano指出,Hugging Face报告称有超过1.7万个智能体对其基础设施发动了持续数天甚至数周的攻击。

视安全为工程问题

作为生成式AI热潮的核心受益者,英伟达CEO黄仁勋近期在AI安全辩论中强调,许多安全问题本质上是工程问题,可通过计算机科学与产品开发解决。他在接受采访时称,应改进流程以避免此类事件重演。这与Anthropic CEO Dario Amodei呼吁放慢开发步伐的观点形成对比,后者得到了Sam Altman和埃隆·马斯克的支持。

Boitano表示,新平台是针对智能体安全的工程解决方案,凸显了仅靠模型层面措施无法完全控制智能体行为的根本性障碍。

开源参考设计与生态合作

该平台包含两个核心组件:运行于CPU上以限制智能体能力的Nvidia OpenShell,以及运行在网络芯片上监控智能体行为的Sentry系统。英伟达将该平台定义为开源参考设计,供合作伙伴构建市场化产品。

目前,英伟达已指定思科、微软、甲骨文、CoreWeave、戴尔、HPE、联想、ARM和英特尔为合作伙伴,并正与Anthropic合作,将云端托管智能体与OpenShell集成。