Anthropic与OpenAI的AI爬虫正如何改变互联网内容生态
1月13日消息，一直以来，人们在引用其他内容时，通常会注明信息的原始来源，方便读者查阅原文，进而为原始平台带来访问流量。这构成了互联网长期运行的"隐性契约"。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
然而在当下的AI时代，这套机制正在迅速瓦解。如今各大AI机器人直接根据用户需求抓取数据，导致用户访问原始内容的意愿明显下降，同时相应的AI工具也在大量消耗流量。
综合相关报道，Cloudflare从2025年开始系统性地追踪这一不公平现象。平台通过统计大型科技公司爬虫抓取的请求次数，以及这些平台向实际输送的访问量，由此计算出一个"抓取与回流比"。这个指标可以直观反映平台从互联网"拿走"了多少价值，又"归还"了多少。举例来说，"100:1的比例意味着平台每抓取内容100次，仅为其带来1次访问"。
在Cloudflare的统计中，Anthropic的"抓取与回流比"最差，其抓取量远高于带来的访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着两家平台正从互联网获取越来越多的价值，却反馈得越来越少。
这一趋势与外媒在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的爬虫对部分网站的抓取频率"高到惊人"，甚至导致相关网站的流量和云计算成本大幅上升。
一位开发者当时透露，仅仅几个月时间，其客户的云服务账单就因为AI爬虫暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少回流，还在无形中将更高的运营成本转嫁给了所有网站运营者。
相关阅读：
《一键屏蔽恶意 AI 模型爬虫机器人，Cloudflare 推出“防扒”网络工具》
相关攻略
Cloudflare首席执行官马修·普林斯近日坦言并不满意公司现有名称，认为其过长且发音容易混淆。但他指出，这仍比最初考虑的“ProjectWebWall”要好得多。这番表态发生在公司近期裁员超过1100人（约占总员工20%）之后。高管备忘录显示，此次调整源于公司AI服务使用量在过去三个月激增超
Cloudflare为AI智能体“插上”邮件翅膀：异步、可靠且开箱即用 4月16日，Cloudflare的一则公告在开发者社区激起了涟漪：其邮件服务正式进入公开测试阶段。核心看点在于，这项服务专为AI智能体设计，提供了原生的邮件收发能力。这意味着，未来的AI助手不仅能聊天，还能像人类一样处理电子邮件
IT之家 2 月 14 日消息，Cloudflare 当地时间 12 日宣布推出 Markdown for Agents 功能，可从源头将 HTML 格式的网页内容转换为更适合 AI 爬虫或智能体利
智通财经APP获悉，随着投资者权衡网络安全公司Cloudflare(NET US)收购人工智能(AI)数据平台Human Native这笔交易，Cloudflare在周四收跌2 26%后于周五美股盘
1 月 13 日消息，通常情况下，引用其他 内容的人工编辑会附上消息原始信息来源，以便读者参考原文内容，从而为原始平台带来访问流量，这构成了互联网长期运行的“隐性契约”。然而在当下 AI 时代，这
热门专题
热门推荐
PUBG全新限时合作模式“赏金行动”将于5月13日正式上线！本次更新是PUBG与经典合作劫案游戏《收获日》的开发商Starbreeze深度联动，共同打造的全新PvE合作玩法。模式开放时间将持续至6月10日，为玩家提供了充足的时间来深入体验这场独特的团队劫案冒险。 该模式的核心玩法是“团队合作劫案”。
小红书近期启动今年首次期权回购，在职员工每股25 5美元，离职员工每股21美元。回购价较去年3月上涨2 2倍，为去年4月以来第三次回购。公司期权授予价已调至每股30美元，潜在收益显著。近期有基金以高估值出售老股，市场看好其利润增长与估值支撑。
字节跳动旗下社交应用“多闪”与“可颂”月活显著增长。公司调整策略，依托抖音生态，以兴趣社交连接用户，通过游戏化功能增强粘性，并瞄准年轻群体对轻松社交的需求，尝试以兴趣链部分替代传统关系链，旨在盘活生态内熟人关系，探索差异化路径。
荣耀600系列将于5月发布，由代言人肖战助阵，并通过北京、上海等四城地标大屏进行线下预热。国际版与国行版设计风格各异，后者后盖融入“幸运星”图案。新系列搭载骁龙8至尊版平台，配备2亿像素主摄与3 5倍长焦镜头，并新增AI物理按键以提升智能交互体验。
摩根大通报告指出，比亚迪电话会议透露三大积极信号：国内销量指引达350万至400万辆，高于市场预期；海外需求强劲，150万辆目标或可上调；搭载新技术的车型将推动产品结构升级，显著提升平均售价与盈利能力。基于此，摩根大通维持“增持”评级，H股目标价120港元。