今年2月，谷歌与Reddit达成了一项重要合作：Reddit将提供其海量数据用于训练谷歌的AI模型，而作为交换，Reddit的内容在谷歌搜索结果中将获得更高的展示权重。据彭博社报道，这笔交易金额约为6000万美元。此后，Reddit在谷歌搜索中的曝光量便急剧攀升。

然而，就在与谷歌达成“独家”合作后不久，Reddit便对其他搜索引擎关闭了大门。最新消息显示，Reddit已禁止其他搜索引擎抓取其网站内容。外媒404 Media率先报道了这一动态，指出Reddit更新了robots.txt文件（网站与爬虫的协议文件），明确禁止所有机器人抓取任何内容。

查阅Reddit的robots.txt文件，可以看到一句非常直白的声明：“Reddit相信开放的互联网，但不相信滥用公共内容。”同时，“Disallow”选项被设置为“/”，这意味着禁止检索根目录下的所有文件——连根目录都不允许爬取。

该文件于今年6月首次更新，Reddit当时给出的解释是：抓取Reddit内容的商业实体明显增多，且内容被滥用的情况日益严重。

受影响的搜索引擎不止一家。据外媒9To5Google报道，Bing、DuckDuckGo、Mojeek和Qwant等均受到了波及。使用“site:reddit.com”搜索时，要么无法刷出最新内容，要么干脆不显示完整的网站结果。不过最新测试显示，Bing和DuckDuckGo已恢复正常显示。

Reddit发言人Tim Rathschmidt在给The Verge的声明中明确表示：“这与我们最近与谷歌的合作完全无关。”他补充说，Reddit一直在与多个搜索引擎进行沟通，但有些方面既不愿签署协议，也不肯就如何使用Reddit内容（包括AI训练）做出可执行的承诺——那么就只能被屏蔽了。