AI浪潮席卷全球,催生了无数创新应用,却也带来了一些意想不到的“副作用”。最近,一个关乎互联网记忆与知识共享根基的问题浮出水面:非营利性知识库的运营成本正因这波浪潮而急剧攀升。
硬件涨价:存储成本高企
据外媒报道,被誉为“网络时光机”的互联网档案馆(Internet Archive)正面临严峻挑战。这个庞大的数字图书馆目前存储着超过210PB的档案数据,并且每天还在以平均100TB的速度增长。其创始人布鲁斯特·卡勒透露,当前服务器所需的大容量硬盘(如28-30TB规格)市场状况堪忧,不是严重缺货,就是价格虚高,这直接推高了数据保存的物理成本。
无独有偶,维基百科基金会也向媒体表达了类似的困境。作为全球最大的在线百科全书,维基百科拥有超过6500万篇文章,其稳定运行高度依赖内存和硬盘的持续供应。如今,硬件供应链的紧张和普遍涨价,迫使基金会必须在资源分配上精打细算,每一分钱都得花在刀刃上。
隐形消耗:AI爬虫加剧负担
除了硬件采购成本上涨,这些网站还承受着另一重来自AI时代的压力——无休止的网络爬虫访问。
为了训练大语言模型,许多AI公司持续不断地从互联网上抓取海量文本和数据。互联网档案馆和维基百科这类高质量、结构化的信息宝库,自然成了爬虫频繁光顾的目标。这导致网站流量被大量消耗,服务器负载激增。更关键的是,这种数据抓取行为往往是在“无形中”将更高的带宽和算力运营成本,转嫁给了这些非营利平台的维护者。结果就是,本已捉襟见肘的运营预算,雪上加霜。
这形成了一个略显矛盾的图景:AI技术本应助力知识管理与传播,但其发展过程中产生的基础资源需求与成本外溢,却正在威胁着那些为AI乃至全社会提供养分的公共知识基础设施的可持续性。如何平衡技术创新与公共资源的维护,成了一个亟待思考的新问题。
