机器之心 2026-07-05 12:34 北京
扩散语言模型的「两难困境」与破解之道
这项研究由上海科学智能研究院等机构共同完成。第一作者夏翰宸是该院研究员，专注于Agentic强化学习与多模态扩散语言模型研究；共同一作陈保友担任主任研究员；通讯作者朱思语是复旦大学教授、上海科学智能研究院AI科学家，以及上海创智学院的全时导师。
扩散语言模型长期面临一个突出的矛盾：采用更大的生成块虽然能提升并行计算效率，但数学推理能力却会显著下降。更棘手的是，若直接在大块模型上进行强化训练，整个训练过程极易崩塌。
研究者提出的T*方法提供了一套“先小后大”的渐进式学习方案——先在较小的块上稳定学习去噪路径，再逐步扩展至B=8、B=16、B=32等更大块规模。在4B参数模型上，当块大小B=8时，MATH500数据集的准确率从原始SDAR检查点的60.73%直接提升至76.00%。
论文标题：T*: Progressive Block Scaling for Masked Diffusion Language Models Through Trajectory Aware Reinforcement Learning
论文链接：https://arxiv.org/pdf/2602.09375
块越大，并行潜力越高，推理能力却越脆弱
当今的大语言模型大多采用自回归架构：每次前向计算确定一个新token，然后依次生成下一个。虽然因果顺序清晰，但天然存在串行计算的瓶颈。
掩码扩散语言模型则采用不同策略。模型面对一段包含多个掩码位置的序列，通过多轮去噪逐步确定最终答案。在分块扩散中，块大小B决定了每块内有多少个token可以同时更新。块越大，模型单次前向传播中能一次性确定的token数量就越多——但与此同时，模型需要处理的未决位置也相应增加，条件信息减弱，去噪决策的难度随之显著上升。
这一矛盾在强化学习阶段会被进一步放大。论文分析指出，大块设置会导致模型输出置信度更低、噪声更大的rollout结果；当同一个优势信号被分配给更多token时，策略更新更容易发生概率漂移，最终引发训练崩溃。
论文中1.7B参数的实验提供了一个直观例证：直接使用TraceRL时，MATH500准确率在B=8阶段从约56%快速下滑至40%出头，到了B=16阶段末尾更是跌至约30%；而T*方法的曲线在连续扩块过程中始终保持着相对稳定的表现。
图1｜扩块训练过程中的MATH500验证准确率。蓝线为T*方法，绿色虚线为直接TraceRL；纵向虚线对应B=4→8→16的阶段切换。
先把「小步」走稳，再逐级放大
T*的核心并非复杂的新模块，而是重新规划了强化学习的难度递进顺序。
它从一个由自回归模型初始化、已具备推理能力的小块扩散模型出发。在每个固定块大小B的阶段，模型先用TraceRL方法重新适配当前的去噪轨迹；完成规定的更新步数后，再将块大小翻倍。
实验中的典型路径为：B=4 → B=8 → B=16 → B=32。
大块设置下更稳定的性能表现
论文在SDAR-1.7B-Chat和SDAR-4B-Chat上进行了测试，评估覆盖MATH500、GSM8K和AIME24三个数据集，统一报告Pass@3指标。对照组包括原始SDAR检查点，以及在相同目标块大小上直接应用TraceRL的模型。
经过T*训练后，SDAR-4B-Chat在B=8时，MATH500准确率达到76.00%，相较于原始模型提升了15.27%，相比直接TraceRL方法提升了13.90%。在GSM8K和AIME24上也取得了更优的结果。
在更大的B=32设置下，1.7B模型的趋势保持一致：T*的MATH500准确率为59.00%，超过了原始模型的54.20%和TraceRL的54.10%；GSM8K从原始模型的78.31%提升至82.00%。
图2｜不同模型规模和块大小下的性能表现。黑色为原始模型，绿色为直接TraceRL，蓝色为T*方法。
推理能力提升，并行性并未丢失
一个自然的问题是：T*是否只是让扩散模型悄悄退回到了逐token、从左到右的生成方式，用牺牲并行性来换取准确率？
论文采用TPF（tokens per forward）指标来衡量每次模型前向传播平均能确定多少个输出token。自回归模型的TPF为1.0；分块扩散模型可以在同一块内并行确定多个token，TPF越高，说明块内并行性越强。
在1.7B模型上，T*的TPF随块大小从B=8的2.95，提升至B=16的3.38，再到B=32的3.80。
表1｜去噪顺序、准确率与TPF对比。LocalStrict越接近1.0，生成顺序越接近严格从左到右。
论文还报告，对于原始SDAR-1.7B模型，从B=8扩展到B=16和B=32，TPF分别提高了约16%和29%；在固定输出长度下，对应的前向传播次数约减少14%和22%。T*和TraceRL都没有消除这种随块大小增加而增强的并行趋势。
论文进一步采用LocalStrict指标来衡量去噪顺序与标准从左到右顺序的接近程度。严格自回归顺序的LocalStrict为1；数值越低，表示模型保留了更多非单调的掩码更新。T*在B=8、16、32下的LocalStrict分别是0.854、0.804和0.730，并未回到1。以B=32为例，T*在LocalStrict=0.730、TPF=3.80的同时，MATH500准确率达到了59.0%。这说明准确率的提升不能简单归因于“模型重新变成了自回归”，而是策略在目标块大小下形成了另一种token定稿顺序。
图4｜TraceRL与T*方法的token首次解掩码步骤对比。颜色越深，代表该token越晚定稿；两种方法都保留了非单调更新，但在目标块大小下学到的调度策略有所不同。
上图结果还提供了一个更有研究价值的观察：除了在外部显式构造树搜索、图搜索等推理脚手架外，强化学习还有可能直接重塑模型内部的token定稿顺序。论文将此视为一条互补的研究方向，而非对现有搜索式推理方法的替代。