Anthropic与OpenAI爬虫如何影响内容生态与网站回报
1月13日，IT之家发布消息称，过去我们习惯于这样一个约定俗成的做法：当人们引用其他平台的内容时，通常会附上原文链接，这既方便读者追溯信息来源、查阅原文，也为原始平台带来了可观的访问流量。这种“隐性契约”长久以来维系着互联网生态的运转。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
然而，随着AI时代的到来，这套运行机制正面临着前所未有的冲击。如今，各类AI机器人能够直接根据用户需求抓取网络数据，这导致用户主动访问原始内容页面的意愿显著降低。同时，相应的后果是，这些AI工具本身也在大量消耗着本应流向内容源的网络流量。
综合Cloudflare及Business Insider的报道，Cloudflare自2025年起开始系统性地追踪这一不平衡现象。该平台通过统计大型科技公司网络爬虫的抓取请求次数，以及对比这些平台实际为内容网站输送的访问量，计算出一个“抓取与回流比”。这项指标能够直观地反映一个平台从互联网“拿走”了多少价值，又“归还”了多少。举例来说，“100:1”的比例意味着，该平台每抓取内容100次，仅为源头网站带来1次访问。
在Cloudflare的统计中，Anthropic的“抓取与回流比”表现最差，其抓取量远高于为网站带来的实际访问量。OpenAI的情况也类似，其抓取回流比同样不佳。这意味着这两大平台正从互联网获取越来越多的价值，但反馈给内容创作者和网站的却越来越少。
这一趋势得到了外媒Business Insider在2024年末一项调查的印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率“高到惊人”，甚至导致一些网站的流量成本和云服务开支大幅上升。
一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为AI爬虫请求的暴增而翻了一番。也就是说，AI公司不仅从互联网获取内容、减少流量回流，还在无形中将更高的运营成本转嫁给了所有内容提供方。
相关攻略
十大Web安全威胁，你都了解吗？ 1 桌面系统漏洞 谈起网络威胁，桌面系统的漏洞永远是黑客的“老牌”切入点。无论是Internet Explorer、Firefox，还是广泛使用的Windows操作系统，都曾存在或依然潜藏着安全缝隙。尤其是在用户疏于安装补丁的情况下，这些缝隙就成了黑客的“高速公路
财联社3月11日讯作为圈定AI智能体行为边界的关键之战，美国一家法院本周作出裁定，初创公司Perplexity AI旗下智能体产品必须停止访问电商巨头亚马逊的 。作为背景，去年11月亚马逊将Perp
3月1日消息，据domaininvesting报道，OpenAI 似乎已经收购了 GPT com 域名。如果访问GPT com，将会跳转到 ChatGPT com。OpenAI去年收购了Chat c
1月25日消息，知识分享社区“360doc个人图书馆”最新发布公告：360doc个人图书馆自2005年上线，至今已运营二十载，陪伴了超过八千万用户，守护了逾十一亿篇凝聚智慧与记忆的文章，是国内具有独
IT之家 1 月 13 日消息，通常情况下，引用其他 内容的人工编辑会附上消息原始信息来源，以便读者参考原文内容，从而为原始平台带来访问流量，这构成了互联网长期运行的“隐性契约”。然而在当下 AI
热门专题
热门推荐
一、财务系统更换：一场不容有失的“心脏手术” 如果把企业比作一个生命体，那么财务系统就是它的“心脏”。这颗“心脏”一旦老化，更换就成了必须面对的课题。但这绝非一次简单的软件升级，而是一场精密、复杂、牵一发而动全身的“外科手术”。数据显示，超过70%的ERP（企业资源计划）项目实施未能完全达到预期，问
在企业数字化转型的浪潮中，模拟人工点击软件：从效率工具到智能伙伴 企业数字化转型的路上，绕不开一个话题：如何把那些重复、枯燥的电脑操作交给机器？模拟人工点击软件，正是因此而成为了提升效率、降低成本的得力助手。那么，市面上的这类软件到底有哪些？答案其实很清晰。它们大致可以归为三类：基础按键脚本、传统R
一、核心结论：AI智能体是通往AGI的必经之路 时间来到2026年，AI智能体这个词儿，早就跳出了PPT和实验室的范畴。它不再是飘在天上的技术概念，而是实实在在地成了驱动全球数字化转型的引擎。和那些只能一问一答的传统对话式AI不同，如今的AI智能体（Agent）本事可大多了：它们能自己规划任务步骤、
一、核心结论：AI智能体交互的“桥梁”是行动层 在AI智能体的标准架构里，它与外部系统打交道，关键靠的是“行动层”。可以这么理解：感知层是Agent的五官，决策层是它的大脑，而行动层，就是那双真正去执行和操作的手。这一层专门负责把大脑产出的抽象指令，“翻译”成外部系统能懂的语言，无论是调用一个API
一、核心结论：AI人设是智能体的“灵魂” 在构建AI应用时，一个核心问题摆在我们面前：如何写好AI智能体的人设描述？这个问题的答案，直接决定了智能体输出的专业度与用户端的信任感。业界实践表明，一个优秀的人设描述，离不开一个叫做RBGT的模型框架，它涵盖了角色、背景、目标和语气四个黄金维度。有研究数据