这项由西湖大学、浙江大学、清华大学、香港科技大学及上海人工智能实验室联合攻关的科研成果，以预印本形式于2026年5月正式上线，论文编号为arXiv:2605.21195。希望深入了解算法细节的读者，可凭此编号检索并查阅完整论文。

你是否好奇过，一张AI生成的图片，从“构思”到“成品”究竟经历了怎样的流程？整个过程好比一场精彩的接力赛：第一棒选手负责将文字描述转换为特定的数字密码序列，第二棒选手则需将这段密码重新还原为可辨识的图像。听起来很顺畅，但研究团队揭示了一个长期被忽视的问题——当我们投入大量精力训练第一棒选手跑得更快、更精准时，接棒的第二棒选手却始终没有同步练习，导致它接到的“密码”愈发陌生，最终“交出”的图像质量反而大打折扣。这正是这篇论文力图解决的核心矛盾。

一、那根“冻住”的接力棒

要深入理解这项研究，首先需要掌握当今主流AI图像生成系统的内部架构。研究中涉及的模型属于“离散自回归文本生成图像”系统，虽然术语复杂，但其原理并不难懂。整个系统由两个相互配合的模块组成：一个是“词汇表编解码器”（VQ tokenizer），它负责将真实图像压缩成由数字代号构成的有序序列，就像把一幅画翻译成一段莫尔斯电码；另一个是“自回归策略网络”（AR policy），它学习如何根据给定的文本提示，生成类似的数字代号序列，再交由前一个编解码器中的“解码器”部分，将代号序列还原为最终的图像。

在这一流程中，研究人员希望通过“后训练”（post-training）进一步提升模型的生成效果——简单来说，就是模型在基本掌握图像生成能力之后，再让它接收高质量评分反馈，从而学会生成更符合人类审美的图片。这好比一个厨师已经能够烹饪菜肴，但我们可以请来美食评委为每道菜打分，厨师根据评分不断改进自己的烹调方式。

然而，问题的关键在于：以往所有的后训练方法都只聚焦于“厨师”（策略网络）的训练，而将“出菜窗口”（VQ解码器）完全锁定不变。这种做法的背后隐含着一种假设：解码器只是一个机械翻译工具，不需要调整。但研究团队发现，这个假设实际上大错特错。

解码器在最初训练时，接触到的都是“标准答案密码”——也就是真实图像经过严格数字化处理后得到的代号序列。这些代号高度规律、分布集中，因此解码器练就了一套专门针对这类“标准密码”的还原能力。然而，当策略网络经过后训练后，它生成的代号序列在分布上悄然发生了变化，逐渐偏离了解码器当初学习时所熟悉的“标准密码”。解码器接到这些“陌生密码”后，解读起来自然力不从心，生成的图像质量也随之下降。

研究团队将这一现象命名为“潜在协变量偏移”（Latent Covariate Shift）。用接力赛来比喻，就好比第一棒运动员的跑步姿势发生了变化，但第二棒运动员仍然沿用过去的接棒方法，结果导致接力棒越来越难以接稳。他们以LlamaGen-XL这个拥有775亿参数的模型为样本进行实验，发现标准强化学习训练虽然提升了模型对文字描述的匹配程度（CLIP分数从31.54提升至32.45），但图像的整体质量指标（FID分数）却从15.24恶化至17.76。FID用于衡量生成图像与真实图像之间的差距，数值越小代表质量越高，因此这个变化表明图像质量确实在明显下降。更值得关注的是，他们测量了策略网络生成的代号分布与真实图像代号分布之间的差距，发现在标准强化学习训练过程中，这个差距持续扩大了24%。

二、为什么不能直接打通两端？

发现问题后，人们自然会想到一个解决方案：既然解码器无法适应变化后的密码，那就让解码器也同步变化。然而，落实起来并不简单，其中存在一个几乎无法绕过的技术障碍。

在整个图像生成流程中，有两个关键环节天然不支持“反向传播”——也就是说，无法将最终图像的评分信号反向传递给策略网络。第一个是策略网络在生成代号序列时的随机采样过程，第二个是词汇表编解码器在查找最近邻代号时的离散选择操作。这两步操作就像一道单向闸门，信号可以从策略网络流向解码器，再流向像素，但反方向的梯度信号却被完全阻断。

这个问题在连续型扩散模型（如Stable Diffusion这类系统）中并不存在，因为这类模型的整个生成链条是连续可微的，奖励信号可以顺畅地一路反向传递回去。然而，在离散自回归系统中，这条通路天然就是断开的。

此前，学术界也曾提出一些绕过这个障碍的近似方法，例如“直通估计器”（Straight-Through Estimator）或“Gumbel-Softmax”等技巧。然而，这些方法在现代视觉代号系统动辄一万六千个词汇条目的规模下，要么会引入严重的计算偏差，要么训练过程极不稳定。因此，所有现有的后训练方法都选择了一条退路：冻结解码器，只训练策略网络，并默默接受由此带来的图像质量损失。

三、RankE：绕开障碍的“接力协同训练法”

研究团队提出的解决方案名为RankE，全称是“基于排名的端到端对齐”（Ranking-based End-to-end alignment）。该方案的核心思路并非强行打通那道单向闸门，而是巧妙地绕开它——让策略网络和解码器交替训练，各自采用适合自己的方式吸收奖励信号，通过这种“轮流进步”的方式，实现两者的同步演化。

整个训练流程分为两个交替进行的阶段，研究团队将其类比为统计学中经典的“广义期望最大化”（Generalized EM）算法，每个阶段都是针对同一个整体目标函数执行一次有效的优化步骤。

第一阶段是策略网络的训练。在此阶段，解码器保持不动，策略网络通过一种名为GRPO（群体相对策略优化）的方法进行学习。具体操作是：针对每一条文字提示，同时生成八张图像，然后用奖励模型（可以是CLIP评分或人类偏好评分HPSv2）对这八张图像进行打分，再根据分数的高低计算出每张图像相对于组内平均水平的“优劣程度”。得分高于平均水平的图像对应的密码序列会被强化，得分低的则会被弱化。这个过程好比让八个学生对同一道题目各自作答，然后通过相互比较打分，策略网络便学着向高分答案靠拢。为防止策略网络偏离过远，这一阶段还加入了KL散度约束（一种衡量新旧策略差距的指标），就像为学生规定“答案风格不能偏离原来太多”。

第二阶段是解码器的训练。在此阶段，策略网络保持不动，解码器利用刚刚生成的八张图像的密码序列及其评分来更新自己。这一阶段包含了精心设计的四个损失函数，从不同角度防止解码器走偏或崩溃。

第一个是“奖励直接反传”损失。当使用的奖励模型本身支持梯度计算时（例如CLIP），可以直接将奖励分数对解码器参数的梯度计算出来，推动解码器向让高分图像更清晰的方向进化。需要注意的是，密码序列在这里是被“切断梯度”的——信号只在解码器内部流动，不会越过那道单向闸门。

第二个是“Rank-GAN”损失。这是专门为不支持梯度计算的奖励模型（例如HPSv2）设计的机制。Rank-GAN在普通对抗生成网络（GAN）的基础上加入了奖励权重：在那八张图像中，奖励分数越高的图像，在更新解码器时获得的权重越大；分数低的图像权重越小。这相当于提示解码器：“你需要重点学会把那几张评分高的密码序列解码得更美观，低分的则可以少学一些。”研究团队通过消融实验证实，如果将Rank-GAN替换为普通无权重的GAN，CLIP和FID这两项指标都会下降，由此证明奖励权重才是关键所在。

第三个是“真实密码重建”损失。这个损失函数让解码器持续在真实图像的标准密码序列上进行训练，确保它不会因一味适应策略网络生成的“变化密码”而遗忘如何还原“标准密码”。这好比一位语言翻译员在学习新方言的同时，还必须定期复习标准普通话，以防忘记母语。

第四个是“EMA一致性”损失。该机制维护了一个“慢速跟随”的教师解码器（通过指数移动平均技术实现，即EMA）。解码器在每次更新时，都要确保自己的输出不会偏离这个慢速教师太多。这个慢速教师相当于一个稳定的参照物，能够过滤掉单步对抗训练带来的高频噪声，让解码器的进步更加平稳。值得一提的是，当这个一致性损失被去除后，CLIP分数会略微上升至34.17，但FID却急剧恶化至19.03——这说明没有这一约束，解码器会过度拟合于当前时刻策略网络随机生成的密码，从而失去对整体分布的把握。

这两个阶段交替进行多轮：策略网络每向前迈进一步，解码器就跟着重新校准一次；解码器跟上策略网络的节奏后，下一轮策略网络又能更加稳健地提升。两者在这种“共同进步”的过程中，协同将奖励信号转化为真正的像素级质量提升。

四、实验结果：两个指标同时提升

研究团队在两个主要模型上验证了RankE的效果，分别是LlamaGen-XL（7.75亿参数）和Janus-Pro-1B（10亿参数），并使用CLIP评分和HPSv2两种奖励函数进行了交叉验证。

在LlamaGen-XL上，最直观的对比来自与标准强化学习（GRPO）方法的正面较量。标准强化学习训练后，CLIP分数从31.86提升到32.45，但FID从16.58恶化到17.76。而RankE训练后，CLIP分数进一步提升到33.76（比标准强化学习高出1.31分），FID则改善到15.21（比标准强化学习低2.55分，甚至优于模型原始预训练状态的15.24）。这是一个具有里程碑意义的成果：过去被认为必然会此消彼长的两个指标，在RankE框架下实现了同步优化。

训练过程中的动态曲线也很有说服力。标准强化学习的FID指标随着训练步数的增加几乎单调上升（即持续变差），而CLIP指标则缓慢攀升；相比之下，RankE的两条曲线均呈现出向好的趋势，FID持续下降，CLIP持续上升，并且从6000步的训练终点来看，两者都处于各自的最优状态。

在Janus-Pro-1B上，情况略有不同但结论一致。该模型预训练时采用了一套私有的大规模数据集，研究团队在后训练阶段使用了一套1.5万条数据的语料库，与预训练数据分布间存在一定差异，导致所有后训练方法（包括监督微调SFT）都出现了FID相较原始模型上升的现象。然而，即便在这种不利条件下，RankE相比标准强化学习依然取得了更优的CLIP分数（33.86 vs 33.60）和更低的FID（25.19 vs 25.59），在零样本GenEval组合推理评测上也保持了领先地位（平均0.750 vs 0.746）。

使用HPSv2作为奖励函数时，RankE同样展现出优势。HPSv2是一种不支持梯度计算的“黑盒”评分器，在这种情况下，Rank-GAN机制成为主要的奖励注入渠道。结果是：标准强化学习的HPSv2平均分为0.2451，RankE达到0.2531；同时在零样本GenEval评测上也保持了与标准强化学习相当甚至略好的表现，说明对齐能力的提升并未牺牲泛化能力。

机制验证部分同样详实。研究团队追踪了训练过程中策略网络生成代号分布与真实图像代号分布之间的KL散度：标准强化学习训练6000步后，KL散度持续增大了24%；而RankE始终将KL散度维持在接近监督微调初始阶段的水平，偶尔甚至略低。与此同时，标准强化学习会导致策略网络集中使用更少的代号条目（即代号熵降低），而RankE则将代号熵维持在接近真实图像的水平（约13.87比特）。这两个指标相互印证，说明RankE并非在掩盖潜在协变量偏移的后果，而是从根源上抑制了这种偏移的发生。

在训练模式的消融实验中，研究团队对比了四种配置：不做后训练的监督微调基线（CLIP 31.86，FID 16.58，GenEval 0.374）；仅训练策略网络（CLIP 32.45，FID 17.76，GenEval 0.417）；仅训练解码器（CLIP 33.41，FID 18.68，GenEval 0.403）；完整RankE（CLIP 33.76，FID 15.21，GenEval 0.425）。结果清晰表明，只有两者联合训练才能同时改善所有三个维度，且完整RankE的FID远低于单独训练任何一个组件，说明两者的协同效应是真实存在的，而并非简单叠加。

五、细节的鲁棒性：超参数敏感不敏感？

研究团队还系统测试了RankE对各种超参数设置的敏感性，这对于判断一个方法是否实用至关重要。

关于一致性损失权重λc，他们测试了三个档位：λc=10时，训练最稳定，FID表现最佳（17.37），但CLIP和GenEval略低于默认设置；λc=1（默认）时，综合表现最优；λc=50时，训练进行到约1500步时解码器发生崩溃，真实密码重建损失急剧发散，判别器分数趋近于零。这个结果表明，一致性约束的强度存在一个合理范围：过松会导致解码器漂移，过紧则会使对抗学习信号被淹没，最终导致训练失败。

关于重要性采样温度τ（控制Rank-GAN中奖励权重分布的“集中程度”），τ=1.0时相当于均匀采样，奖励信号被稀释，CLIP降至33.43；τ=0.01时权重过于集中在最高分样本，多样性崩溃，FID升至16.12；τ=0.1（默认）取得最佳平衡，FID 15.21，CLIP 33.76，GenEval 0.425。

关于EMA衰减速率α，教师模型更新速度越慢（α越接近1），越稳定。默认α=0.999的表现最好，α=0.900时教师跟踪学生过于紧密，稳定性下降，FID升至15.75，CLIP降至33.48。

六、计算代价与局限

研究团队坦诚地指出，RankE并非没有代价。在内存方面，由于需要同时持有判别器和EMA解码器，峰值显存从标准方法的33GB增加到56GB，增幅约为70%。但训练时间的增加幅度则相对温和：完整的6000步训练在8张A100 GPU上约需20小时，而标准GRPO基线约需19小时，时间开销仅增加约5%。也就是说，内存请求更高，但时间成本几乎没有增加。

论文还明确提出了当前阶段的三个局限。第一，调度策略仍有优化空间，例如通过监测奖励是否陷入平台期来动态决定是否启动解码器更新阶段，而非每批次都交替进行。第二，模型效果受到监督微调语料库与预训练数据分布的影响：Janus-Pro使用私有预训练数据集，导致研究团队的语料库与之存在分布差距，SFT阶段就已经引入了明显的FID退化，这制约了后训练的提升空间——这是数据匹配问题，并非方法本身的缺陷。第三，VQ编码器在整个训练过程中被冻结，这意味着真实密码始终保持稳定，作为重建损失的可靠锚点，但也意味着编码器侧的优化空间暂时未被开发。将编码器也纳入联合训练、探索在预训练阶段就引入协同进化，以及整合在线人类反馈，是研究团队勾画出的自然延伸方向。

归根结底，这项研究揭示了一个此前被集体忽视的问题：在AI图像生成系统里，解码器并不是一个可以永久锁定的零件，而是一个需要与策略网络共同成长的伙伴。过去的方法只训练了接力赛的第一棒，期待第二棒能自动适应，结果导致了明显的质量天花板。RankE提供了一种同时训练两棒运动员的方法，绕开了无法直接打通的技术障碍，让系统在不牺牲图像质量的前提下，获得更好的文字对齐能力。

这一发现对于任何使用离散自回归结构的图像生成系统都有直接的参考价值。随着这类系统在多模态大模型中的角色日益重要，如何让“密码解读者”跟上“密码创作者”的进化步伐，将成为一个越来越不可回避的问题。希望深入了解技术细节的读者，可通过arXiv编号2605.21195查阅完整论文。

Q1：RankE和普通强化学习训练图像生成模型有什么本质区别？

普通强化学习只训练负责“创作密码序列”的策略网络，而负责“把密码还原成图像”的解码器则被完全冻结。RankE的核心区别在于让解码器也参与训练，通过交替优化两个组件，使解码器能持续跟上策略网络分布的变化，从而避免图像质量随对齐能力提升而下降的矛盾。

Q2：潜在协变量偏移在实际生成图像中会有什么表现？

直观表现是图像出现明显的视觉伪影，例如颜色条纹、模糊区域或不自然的纹理，即使模型生成的内容已经能够准确匹配文字描述。这是因为解码器在接收到与自己训练分布不同的密码序列时，还原能力会下降，导致像素级的失真，而这些失真在FID等整体质量指标上也会有所体现。

Q3：RankE框架能不能用在Stable Diffusion这类扩散模型上？

不需要，也不适用。RankE专门针对离散自回归图像生成系统中的解码器固定问题而设计。扩散模型本身的生成链条是连续可微的，奖励信号可以直接反传，类似REPA-E等方法已经在探索扩散模型中解锁VAE的思路，两类系统面临的技术障碍和解决路径并不相同。