警惕AI爬虫：Anthropic与OpenAI如何抓取互联网数据
IT之家1月13日消息，在互联网的通行规则里，编辑引用他人内容时，通常会附上信息来源，这既是对原创者的尊重，也为读者查验原文提供了便利。这种注明出处的做法，无形中为原始平台带来了访问流量，构成了互联网长期运行的隐性契约。
然而，在AI技术蓬勃发展的当下，这套固有的平衡机制正在迅速瓦解。如今，各大AI模型直接根据用户指令抓取海量网络数据，导致用户访问原始内容页面的意愿显著降低。与此同时，内容提供方却需要承担AI工具频繁抓取所带来的巨额流量消耗。
综合Cloudflare及外媒Business Insider的报道，自2025年起，Cloudflare开始系统性追踪这一失衡现象。他们通过统计大型科技公司网络爬虫的请求次数，以及对比这些公司最终为内容源带去的实际访问量，计算出一个“抓取回流比”。这个指标能直观反映平台从互联网“拿走”了多少价值，又“回报”了多少。例如，100:1的比例意味着平台每抓取内容100次，仅为原创者带来1次访问。
在Cloudflare的统计数据中，Anthropic的“抓取回流比”表现最差，其数据抓取量远高于它所能带来的实际访问量。OpenAI的情况也类似，其抓取与回流比同样不佳。这意味着，这两大平台正从互联网获取越来越多的价值，但反馈给内容生态的却越来越少。
这一趋势与Business Insider在2024年末的调查相互印证。当时的报道指出，Anthropic和OpenAI的网络爬虫对部分网站的抓取频率“高到惊人”，甚至导致网站流量与云计算成本大幅上升。
一位开发者当时透露，仅仅几个月内，其客户的云服务账单就因为AI爬虫的暴增而翻了一倍。也就是说，AI公司不仅从互联网获取内容、减少流量回流，还在无形中将更高的运营成本转嫁给了所有内容提供者。
相关攻略
正确构造带文件上传的 multipart form-data 请求需用 requests Session() 管理 Cookie，data 传文本字段、files 传文件元组，由 requests 自动设 boundary 和 Content-Type；CSRF Token 需先 GET 提取再即时
Playwright：搞定动态网页抓取，这才是稳扎稳打的方案 说到抓取动态网页，Playwright 目前是公认最稳妥的方案之一。它可不是简单的模拟请求，而是能真实启动浏览器、完整执行 Ja vaScript、耐心等待所有内容加载完毕，甚至还能模拟用户的点击、滚动等交互行为。比起老牌的 Seleni
最简可行方案：用 HttpClient 抓取网页，用 HtmlAgilityPack 提取文本 话说回来，想快速上手一个能用的C 爬虫，其实没那么复杂。核心就两件事：把网页HTML拿下来，再把需要的文本信息提出来。下面这个最简可行方案，能帮你避开绝大多数新手坑。 用 HttpClient 抓取网页
热门专题
热门推荐
英国工党领袖斯塔默面临公众信任挑战，支持率低迷。类似困境在欧洲多国领导人中普遍存在，德国总理默茨与法国总统马克龙的支持率同样远低于不支持率，反映出欧洲政界广泛的信任危机。
芝麻开门：安全便捷的数字资产交易平台 在数字货币的世界里，选择一个可靠、便捷的交易入口是第一步。芝麻开门作为一款服务于全球用户的知名交易平台，以其多重安全防护、对主流币种的广泛支持以及现货、杠杆等丰富功能，成为了许多交易者的选择。今天，我们就来详细梳理一下如何通过官方渠道，安全地获取并使用芝麻开门平
全球债市因通胀担忧遭剧烈抛售，长期美债收益率升至近三年高位。30年期美债收益率一度突破5%，10年期与2年期收益率同步攀升。日本30年期国债收益率单日飙升20基点创新高。油价上涨加剧通胀忧虑，策略师建议关注美债收益率在5 25%-5 5%区间的后续动向。
欧易（OKX）：您的官方数字资产交易入口 在加密货币的世界里，选择一个可靠、功能全面的交易平台是第一步。欧易（OKX）作为全球领先的数字资产服务商，早已成为数百万用户的首选。它不仅提供比特币、以太坊等主流币种的现货交易，更将业务延伸至衍生品、DeFi以及NFT市场，构建了一个完整的加密生态。其背后，
gate io交易APP官方版 v7 19 1 安卓版下载与安装全指南 对于数字资产交易者来说，一个可靠、顺手的交易工具至关重要。Gate io交易APP，正是这样一款专业的平台，它为全球用户提供比特币、以太坊乃至上千种加密货币的实时行情与交易服务。其最新的安卓v7 19 1版本，在用户体验和系统稳