HRM-Text：1500美元训练出10亿参数模型，大模型预训练真的要“降本”了？

大模型预训练的高昂成本，始终是制约众多企业和研究机构进入这一领域的核心障碍。不过，近期一项研究提出了一种创新方案，似乎正在尝试打破这一成本天花板。先来看几个关键数字：从零开始训练一个10亿参数的基础模型，计算成本估算仅需约1500美元，训练时长1.9天，使用了16块GPU。没错，你没看错，是美元，不是万，也不是亿。

AI模型

这项研究名为HRM-Text，其最大不同在于并未沿用主流的Transformer路线，而是基于一种被称为“分层循环模型”（HRM）的架构构建。听起来有点绕？其实可以这样理解：它将计算过程划分为“策略层”和“执行层”，前者变化较慢，负责制定方向；后者变化较快，负责具体执行。这就好比一个建筑项目，总设计师（策略层）定下大的框架和蓝图，而具体施工团队（执行层）则根据蓝图高效地完成细节工作。

更值得关注的是它的训练方式。传统大模型大多通过“下一个词预测”的方式，在大片原始互联网文本中“死记硬背”。而HRM-Text使用的全部是“指令-回复”配对数据，训练目标也从“猜对下一个字”转变为“判断任务是否完成”。简单来说，它不纠结于能否逐字复述，而是看最终能否给出一个有用的答案。这种思路其实很贴近企业的实际应用场景——用户丢过来一个问题，期待的是一个靠谱的答案，而不是看模型如何联想出下一个词。

在数据规模上，HRM-Text训练时仅用了大约400亿个标记（tokens），远低于主流模型动辄数千亿甚至过万亿的量级。数据由通用指令、数学、符号逻辑、教材练习和改写知识等“指令-回复”样本组成。一个很有意思的细节是：研究人员在训练中特意移除了展示中间推理过程的那些标记。他们想迫使模型更多地依赖自己的内部层级推理结构去解决问题，而不是“照抄”推理过程。

那么，这个“省吃俭用”训练出来的10亿参数模型，实际表现如何？在多项基准测试中，它交出的成绩单相当可观：MMLU得分60.7%、GSM8K得分84.5%、MATH得分56.2%。这些分数已经能与一些更大的开源模型一较高下。研究团队对比后指出，HRM-Text训练时使用的标记数量，比部分Qwen、Gemma和Llama模型少100倍到900倍，估算下来的计算量，低了96倍至432倍。

当然，循环结构在语言训练中容易出现梯度爆炸或消失的老问题，这支团队为此引入了一个名为“MagicNorm”的归一化方法，并辅以逐步增加推理深度的预热训练策略。整体来看，这项研究释放了一个清晰的信号：基础模型预训练，或许并不总是高资源机构的“专属游戏”。未来，企业完全有可能基于自身业务数据和外部知识库，去训练更小巧、更聚焦的推理核心模型。

不过话说回来，HRM-Text目前更像是一个概念验证，距离成熟的通用聊天产品还有距离。研究团队自己也坦承，它在多轮对话、推理模式控制和工程适配方面，还有很多需要完善的地方。但方向已经明确，接下来就看如何从“实验室”走向“生产线”了。