谷歌微软等支持新标准：一行代码禁止AI抓取训练数据

谷歌、微软、Anthropic和OpenAI今日联合宣布，支持一项即将推出的网站爬取标准。该标准旨在赋予网站运营商更大控制权，使其能够阻止人工智能开发商利用其内容训练模型。

长期以来，网站运营商依赖“robots.txt”文件管理搜索引擎爬虫的访问权限，包括全面禁止抓取或限制访问频率。然而，面对AI时代的数据收集需求，传统方式显得捉襟见肘：运营商需为每家AI厂商及其多个爬虫程序单独配置条目，操作繁琐且难以维护。

新标准致力于解决这一痛点。通过将该规范纳入标准化的“机器人排除协议”（Robots Exclusion Protocol），网站运营商只需在robots.txt文件中添加单个条目，即可拦截所有用于生成式AI模型训练的数据爬虫。值得注意的是，该设置仅针对训练数据收集，不影响执行非生成任务的模型访问。

目前，相关提案草案已提交至维护该协议的公益组织互联网工程任务组（IETF）。

除统一训练数据拦截标准外，微软还提出名为“AI Grounding”的爬取设置。该功能允许网站运营商阻止AI服务为回答用户问题而实时访问网页，并将延伸至使用微软技术的第三方AI工具。OpenAI也计划提供类似的控件。

在实施进度上，微软与OpenAI均计划在未来几个月内提供支持；谷歌则定于明年跟进。Meta Platforms虽表达对技术理念的支持，但尚未承诺具体实施计划。