Anthropic与OpenAI的AI爬虫正如何改变互联网内容生态
1月13日消息，一直以来，人们在引用其他内容时，通常会注明信息的原始来源，方便读者查阅原文，进而为原始平台带来访问流量。这构成了互联网长期运行的"隐性契约"。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
然而在当下的AI时代，这套机制正在迅速瓦解。如今各大AI机器人直接根据用户需求抓取数据，导致用户访问原始内容的意愿明显下降，同时相应的AI工具也在大量消耗流量。
综合相关报道，Cloudflare从2025年开始系统性地追踪这一不公平现象。平台通过统计大型科技公司爬虫抓取的请求次数，以及这些平台向实际输送的访问量，由此计算出一个"抓取与回流比"。这个指标可以直观反映平台从互联网"拿走"了多少价值，又"归还"了多少。举例来说，"100:1的比例意味着平台每抓取内容100次，仅为其带来1次访问"。
在Cloudflare的统计中，Anthropic的"抓取与回流比"最差，其抓取量远高于带来的访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着两家平台正从互联网获取越来越多的价值，却反馈得越来越少。
这一趋势与外媒在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率"高到惊人"，甚至导致相关网站的流量和云计算成本大幅上升。
一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为AI爬虫暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少回流，还在无形中将更高的运营成本转嫁给了所有网站运营者。
相关阅读：
《一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具》
相关攻略
IT之家 2 月 14 日消息，Cloudflare 当地时间 12 日宣布推出 Markdown for Agents 功能，可从源头将 HTML 格式的网页内容转换为更适合 AI 爬虫或智能体利
智通财经APP获悉，随着投资者权衡网络安全公司Cloudflare(NET US)收购人工智能(AI)数据平台Human Native这笔交易，Cloudflare在周四收跌2 26%后于周五美股盘
1 月 13 日消息，通常情况下，引用其他 内容的人工编辑会附上消息原始信息来源，以便读者参考原文内容，从而为原始平台带来访问流量，这构成了互联网长期运行的“隐性契约”。然而在当下 AI 时代，这
1月11日消息，继上个月对苹果公司进行重罚之后，意大利政府再次采取行动，这次的目标是网络服务提供商Cloudflare。由于Cloudflare旗下的1 1 1 1公共DNS服务拒绝协助屏蔽与盗版相
1 月 10 日消息，意大利通信监管机构 AGCOM 当地时间 1 月 8 日宣布，因 Cloudflare 拒绝在其 1 1 1 1 公共 DNS 服务中屏蔽一系列盗版 ，对其罚款 14,247
热门专题
热门推荐
3月28日消息，iPhone 18 Pro的屏幕盖板在社交平台上意外泄露。与上一代产品相比，该机最直观的改变莫过于灵动岛面积的显著缩小。根据博主的最新爆料，iPhone 18 Pro的灵动岛挖孔区域
漏斗图是Excel中展示销售流程各阶段转化率变化的专用图表。方法包括：一、Excel 2016+内置漏斗图；二、条形图模拟（全版本兼容）；三、Power BI嵌入（高交互）；四、条
在电商运营中，及时掌握产品动态至关重要，而junglescout的产品监控警报功能就能帮您实现这一点。下面就为您带来入门指南。一、开启警报功能首先，登录您的junglescout账
《崩坏：星穹铁道》火主配队推荐：推荐一为火主+希儿+布洛妮娅+停云，火主承伤破盾，希儿主C爆发，布洛妮娅拉条增伤，停云回能加攻，适合BOSS战与高难副本。推荐二为火主+艾丝妲+青雀
从杜兆辉那里，夏晓兰知道堂姐夏子玉这几年的遭遇。成了逃犯后，夏子玉靠着那张介绍信逃到盛城，花光所有积蓄偷渡去港岛。因为不会说粤语，又没有身份，根本找不到工作。在地头蛇的连哄带骗下，夏子玉成为港岛街头