警惕AI爬虫：Anthropic与OpenAI如何抓取互联网数据
IT之家1月13日消息，在互联网的通行规则里，编辑引用他人内容时，通常会附上信息来源，这既是对原创者的尊重，也为读者查验原文提供了便利。这种注明出处的做法，无形中为原始平台带来了访问流量，构成了互联网长期运行的隐性契约。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
然而，在AI技术蓬勃发展的当下，这套固有的平衡机制正在迅速瓦解。如今，各大AI模型直接根据用户指令抓取海量网络数据，导致用户访问原始内容页面的意愿显著降低。与此同时，内容提供方却需要承担AI工具频繁抓取所带来的巨额流量消耗。
综合Cloudflare及外媒Business Insider的报道，自2025年起，Cloudflare开始系统性追踪这一失衡现象。他们通过统计大型科技公司网络爬虫的请求次数，以及对比这些公司最终为内容源带去的实际访问量，计算出一个“抓取回流比”。这个指标能直观反映平台从互联网“拿走”了多少价值，又“回报”了多少。例如，100:1的比例意味着平台每抓取内容100次，仅为原创者带来1次访问。
在Cloudflare的统计数据中，Anthropic的“抓取回流比”表现最差，其数据抓取量远高于它所能带来的实际访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着，这两大平台正从互联网获取越来越多的价值，但反馈给内容生态的却越来越少。
这一趋势与Business Insider在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的网络爬虫对部分网站的抓取频率“高到惊人”，甚至导致网站流量与云计算成本大幅上升。
一位开发者当时透露，仅仅几个月内，其客户的云服务账单就因为AI爬虫的暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少流量回流，还在无形中将更高的运营成本转嫁给了所有内容提供者。
相关攻略
《鱿鱼游戏》差点胎死腹中。剧本在抽屉里躺了整整10年。《黑暗荣耀》先是一部网漫，后来才变成Netflix现象级剧集。《地狱公使》《甜蜜家园》《僵尸校园》——模式高度一致：韩国数字内容走向全球，而信号
Agentic Internet来了。当地时间2026年3月26日，网络安全公司HUMAN Security发布年度报告《AI 流量与网络威胁基准状态》（The 2026 State of AI T
热门专题
热门推荐
《全面战争：中世纪3》：经典延续，如何平衡怀旧与创新？ 近期，《全面战争：中世纪3》的项目负责人帕维尔·沃伊斯坦然指出，要打造一款真正优秀的续作，绝不能仅仅依赖对前作模式的简单复刻。这一观点引人深思——尽管《中世纪2：全面战争》至今仍在策略游戏爱好者心中占据着经典地位，但开发团队此次显然决心跳出“照
雷鸟X3 Pro斩获AWE艾普兰创新大奖，开启全民AR生活新篇章 在上海新国际博览中心隆重揭幕的2026年中国家电及消费电子博览会（AWE）上，前沿AI科技与未来生活愿景激情碰撞。全球消费级AR领导品牌雷鸟创新，以其里程碑式的表现，定义了行业发展的新方向。 通过“顶尖硬件科技+顶级文化IP”的双轨战
借力AWE2026“一展双区”，MOVA双区协同、震撼登场 备受瞩目的科技盛会——2026年中国家电及消费电子博览会（AWE），于3月12日至15日在上海盛大举办。本届AWE展会首次创新采用“一展双区”的展览模式，主会场位于上海新国际博览中心，分会场则设于上海东方枢纽国际商务合作区，两大展区高效联动
冰结师技能全解析 踏入2026年，《地下城与勇士》中的冰结师职业，其技能体系已构建得更为成熟与强大。无论是在副本中高效清理海量怪物，还是在决斗场与高手玩家周旋，这个职业都能凭借其独特的冰霜艺术掌控战局。刷图时，酷寒的范围法术可瞬间清屏；而在PVP竞技中，一套将冻结控制与瞬间爆发完美衔接的连招，往往让
iPhone 18 Pro系列模具不变，屏幕形态将与iPhone 17 Pro保持一致 备受期待的屏下Face ID组件小型化设计与灵动岛区域缩窄方案，预计将被推迟至后续迭代机型中正式应用。 近期，关于iPhone 18 Pro系列的技术传闻持续引发行业关注，尤其在显示与解锁设计领域传言甚多。多方消