AI研究者解析AI分词:从Token到词元的演进与分位量化

日前,在中国发展高层论坛2026年年会上,国家数据局局长刘烈宏明确将Token称为“词元”,并将它定义为“结算单位”。作为一名长期跟踪人工智能发展的研究人员,我一下子就捕捉到这个表述的变化。这个变化背后的分量很重。
它意味着,我国人工智能正在从“能力布局”迈向“能力结算”,从模型好不好,转向智能服务如何计量、如何定价、如何交易。过去,很多企业采购软件,买的是许可证、账号数和部署周期;如今,越来越多企业采购的,是可调用、可核算、可复盘的智能服务量。
词元,正是那个把智能服务折算成成本与价值的刻度。真正值得重视的,不只是一个译名,而是一个计量体系正在成形。
数据显示,2024年初,中国日均词元调用量为1000亿;到2025年底,跃升至100万亿;到2026年3月,已突破140万亿,两年增长超过1000倍。自2026年1月底以来,有的模型企业创下20天收入超过2025年全年总收入的业绩纪录。
短短两组数据,已经足以说明一个事实:词元不再只是技术指标,而正在成为人工智能商业化速度、应用深度和产业景气度的重要观测值。
中文语境下,给Token定名为“词元”,格外有意义。它比“词”更准确,也比“令牌”“标记”更贴近语言处理场景。特别是强调了“基础单元”这个属性,既方便公众理解,也有助于产业、媒体和政策口径统一。
但如果把2026年3月23日看成“词元”横空出世的时刻,也并不准确。事实上,Token并不是大模型爆红后才临时冒出来的新词。
往前追溯,在学理脉络上,它可追溯至20世纪初研究者提出的type-token区分,随后进入语言学、计算语言学和自然语言处理领域,成为文本处理的基础概念。在中文规范体系,2018年已有计算机学科术语规范工具书,将相关场景下的Token译为“词元”。
词元本质上是大模型处理信息的最小信息单元。人类说出一句话之后,模型要先把文本切分成词元,再把词元映射成编号,随后才能完成关联、推断和生成。
这也是为什么同样一句中文,在不同模型里,词元数量往往并不相同。切分规则不同,成本就不同,速度就不同,可容纳的上下文长度也会不同。
为何词元调用量快速攀升到140万亿?答案不是简单的“聊天变多了”,而是应用形态变了。对话应用消耗词元,长流程任务更消耗词元,调用工具、读取文档、连续规划、多轮反馈,同样都要反复吃进上下文、生成新输出。表面看,用户只是让模型“帮我做件事”,而系统内部,实际上是一次次高密度的信息拆分、调用和结算。
正如刘烈宏在同一场演讲中所说的:人工智能正从“对话”走向“决策执行”,智能体正在驱动中国大模型应用规模爆发式增长。
另一方面,词元调用增长越快,越说明数据供给体系正在跟上模型推理与应用消耗的节奏,也说明数据、模型、场景与商业闭环开始贯通,“词元经济”雏形正在显现,“数据供给—价值释放”的良性循环已初现端倪。
但词元多,并不自动等于智能强。
我在和企业交流时,常会碰到一种误解:是不是词元消耗得越多,模型就越聪明、答案就越好?
事实并非如此。词元更像水表和电表,负责记录消耗,不负责保证质量。真正决定结果的,仍然是模型能力、数据质量、任务设计和提示组织方式。
一句话:没有高质量数据,词元只是空转;没有合适场景,再便宜的词元也难以转化出真正的生产力。
词元像是一块很小的砖,却可能正在垫高一个时代的门槛。很多人第一次听见“词元”时,会觉得它抽象、陌生。但从此刻起,词元正像“字节”“流量”“千瓦时”那样,成为普通人必须逐步理解的新单位。这也意味着人工智能开始被纳入更成熟的经济叙事。

2025年8月28日,参展商与观展者在2025中国国际大数据产业博览会会场交流城市数智化实践情况。新华社记者陶亮 摄
我第一次强烈意识到词元的这种叙事改变,不是在实验室,而是在一张预算表前。
前段时间,我和几位企业负责人讨论大模型接入方案。大家谈完模型能力、幻觉率、知识库召回率,财务负责人忽然指着一行费用问我:为什么这套系统不是按账号数收费,也不是按调用次数收费,而是按“月度词元消耗量”核算?
那一刻,我意识到,词元已经像工业时代的度电、互联网时代的流量一样,成为企业理解人工智能时代“成本”的新度量衡。它不只服务于技术研发,也会越来越多地出现在预算表、采购单、报价单和监管语境里。
我们当然不能把一个时代的变化,全部压缩进一个术语里。但有些时候,一个术语的正式定名,恰恰标志着一个产业阶段已经悄然切换。今天的词元,也许就站在这样的节点上。
等到更多人读懂词元,人工智能的落地方式也会被重新理解。以后再听到“这个模型很费词元”“上下文又超了”“本月词元预算不够了”时,我们不妨少一点陌生感。这也在提醒我们:人工智能已经不只是在展示聪明,它正在像水、电、网络和云资源一样,被精确计量,被持续调度,被大规模交易。
真正变化的,也从来不只是一个中文名字。(作者系赛迪研究院人工智能研究中心副研究员钟新龙)
相关攻略
5月11日,阿里云正式发布团队版Token Plan服务,为企业AI规模化应用带来全新解决方案。该服务整合了通义千问Qwen3 6、智谱GLM-5 1、月之暗面Kimi-K2 6、万知Wan2 7等十余款主流多模态大模型,旨在通过标准、高级、尊享三档灵活套餐与多坐席管理功能,一站式解决企业在AI订阅
角色与核心任务 你是一位顶级的文章润色专家,擅长将AI生成的文本转化为具有个人风格的专业文章。现在,请对用户提供的文章进行“人性化重写”。 你的核心目标是: 在不改动原文任何事实信息、核心观点、逻辑结构、章节标题和所有图片的前提下,彻底改变原文的AI表达腔调,使其读起来像是一位资深人类专家的作品。
从“动口”到“动手”:OpenClaw如何将AI推入“执行时代”? 文|洞见新研社 3月的最后一周,OpenClaw的GitHub社区上演了一出反转剧。往日里忙着报错的开发者们这次成了观众,主角换成了来自蚂蚁、天融信、360等机构的安全研究员,他们密集披露了数十个涉及远程接管、信息泄露的高风险漏洞。
程序员惊喜,每月100美元!OpenAI上线全新Pro方案:Codex限时10倍额度 北京时间4月10日凌晨,OpenAI终于落下了重度用户期盼已久的那只靴子:正式推出每月100美元的全新订阅方案。 至此,OpenAI的商业化版图已经清晰地划分为四个核心层级: ·免费版(接入广告) ·每月8美元的G
2026 04 14 一个核心趋势是:未来的商业竞争,本质上是用户注意力资源的争夺战。谁能更精准、高效地连接信息与用户需求,谁就能在市场中赢得关键优势。 本文配图深刻揭示了这种高效连接的底层逻辑与完整工作流。它系统展示了从数据采集到价值交付的闭环链路,每个环节都紧密耦合。实践证明,其中任一节点的效率
热门专题
热门推荐
广东无人机适飞空域扩大16%至10 24万平方公里,覆盖全省57%陆地面积,滨海、郊野、工业园区及非核心城区公园等区域开放,深圳市区新增连片适飞区。飞行需通过民航局UOM平台提前申请,严禁“黑飞”,违者将受处罚。平台已升级,实现全国规则统一与分钟级空域更新,支持低空物流与巡检等应用。
杭州Costco门店因iPhone17系列手机引发抢购热潮,数百人排队致迅速断货。抢购源于官方降价与地方补贴叠加:iPhone17Pro全系直降千元,同时当地青年消费补贴可再减10%,最高省千元。双重优惠下,256GB版iPhone17Pro到手价低至7172元,较电商平台便宜近千元,吸引本地及周边消费者。目前门店仍处缺货状态,补货时间未定。
5月17日晚,长征八号运载火箭在海南商业航天发射场点火升空,成功将千帆星座第九批组网卫星送入预定轨道。此次发射是该发射场启用以来的第15次成功发射,也是今年第5次发射,体现了我国商业航天发射能力的日益成熟和常态化运营的稳步推进。
七彩虹新款iGameM15 M16Origo2026款游戏本已发售,起售价11499元。M15为15 3英寸黑色机身,配备2 5K300Hz屏,最高可选Ultra9处理器与RTX5070显卡。M16为16英寸白色款,屏幕规格相同,处理器性能更强,电池容量更大。两款均提供多种配置,享受国家补贴后价格更具竞争力,面向中高端游戏玩家与创作者。
联想在北美市场推出新款ThinkPadT14Gen7商务笔记本,支持用户自行更换LPCAMM2内存。该机型提供多款英特尔酷睿Ultra处理器选项,内存可选16GB至64GB,电池与屏幕亦有多种配置,其中顶配版搭载OLED屏幕。产品起售价为1618美元,高配版本价格超过3700美元,主要面向商用及专业办公市场,兼顾性能、可升级性与不同预算需求。





