近期人工智能领域再度引发热议。上周六，一家专注于内容授权业务的初创公司TollBit向新闻出版商发出警告：多家AI企业正在绕过出版商设置的常见网络爬虫拦截标准，并将抓取到的内容用于训练生成式AI模型。

这一消息发布之际，正值AI搜索初创公司Perplexity与《福布斯》就同一网络标准公开交锋。本质上，这反映了科技企业与媒体机构之间关于“生成式AI时代内容价值”这场大辩论的缩影。

TollBit这家公司的定位颇具特色——它充当着内容短缺的AI企业与愿意签署授权协议的出版商之间的“桥梁”角色。

关于争议本身，《福布斯》此前指责Perplexity在其AI生成的摘要中未经授权使用了其报道内容，且未注明来源。引用来源：值得一提的是，《连线》杂志上周发布的一篇调查报道也指出了类似问题：Perplexity可能绕过了新闻出版商设置的“机器人排除协议”（Robots Exclusion Protocol）或其他反爬虫机制。

图源 Pexels

此事也引发了自称代表2000多家美国出版商的贸易组织“新闻媒体联盟”的强烈反应。他们指责AI公司完全无视出版商设置的“禁止抓取”机制或“robots.txt”等工具。新闻媒体联盟主席Danielle Coffey直言：“如果AI公司不停止大规模抓取行为，我们就无法通过有价值的内容实现盈利，也无法为记者支付薪酬。”

TollBit透露，Perplexity并非唯一的违规者。根据其分析，“大量”AI平台都绕过了这一禁止抓取机制。该机制原本是为AI平台提供的一份“白名单”，明确指示哪些内容可以抓取、哪些不可抓取。然而现实是，AI公司似乎并未将其放在心上。

TollBit在报告中写道：“这意味着，来自多个来源的AI平台正在选择绕过robots.txt协议来获取网站内容。我们获得的出版商日志越多，这种模式出现的频率就越高。”

<纽约时报>等部分出版商已选择直接起诉AI公司的侵权行为。另一些出版商则采取了不同策略——与AI公司签署授权协议，AI公司也愿意为此付费，尽管双方对内容价值的认知存在较大差异。许多AI开发者认为，免费获取内容并未违反任何法律。