本周三，Cloudflare 为网站托管客户推出了一项全新功能——一个能够一键阻止 AI 机器人抓取网站内容、防止其利用数据训练模型的控制开关。简而言之，这项功能旨在帮助网站所有者有效抵御那些擅自抓取内容用于 AI 训练的爬虫行为。

这一举措源于客户对 AI 机器人的普遍反感。Cloudflare 在官方声明中明确表示：我们要保护内容创作者在网络空间的安全。他们甚至引用了客户的真实反馈——大家都不希望 AI 机器人触碰自己的网站，尤其是那些无视规则、偷偷爬取数据的机器人。因此，Cloudflare 直接新增了一键封堵所有 AI 机器人的实用功能。

图注：本文图片由AI生成，图片授权服务商为Midjourney

其实此前并非完全没有应对手段。最常见的方法是使用 robots.txt 文件，将其放置在网站根目录，正规的网络爬虫通常会遵循规则，看到指令后自动绕行。但问题在于，这条规则全凭自觉——不守规矩的机器人依然可以无视它。

如今生成式 AI 引发的争议不断升级，许多人认为其本质上就是在“窃取”内容。各类法律诉讼试图追究 AI 公司的责任，而一些公司——例如那些专门“清洗”内容的平台——倒显得颇为大方，允许网站发布者自行选择“不参与被窃取”。这本身颇具讽刺意味。

去年八月，OpenAI 发布了一份指南，指导用户如何通过 robots.txt 阻止其 GPTbot 爬虫——显然是为了回应外界的不满。谷歌随后在九月也采取了类似措施。几乎同一时间，Cloudflare 开始提供一种拦截遵守规则的 AI 机器人的方法，据报道有 85% 的客户迅速开启了这一开关。

而现在推出的一键封锁功能，更是将操作门槛降到了最低。无需技术背景，无需编写配置文件，只需点击一下即可生效。至于效果如何？不妨看看用户是否会像去年那样踊跃采纳。