这项由香港大学、北京大学与字节跳动Seed部门联合完成的研究，于2026年7月13日以预印本形式发布，论文编号为arXiv:2607.11886。

每当你用一段文字描述去让AI画图，比如“一只橙色的猫坐在蓝色的椅子左边”，你心里总有个担忧：AI画出来的东西，真的符合我说的要求吗？猫的颜色对吗？位置关系对吗？这个“对不对”的判断，正是整个AI图像生成领域最核心、也最棘手的问题之一。

研究团队找到了一个格外巧妙的切入点：与其正面问AI“你画得对不对”，不如反过来考它——把画好的图片给另一个AI看，问它：“你能从这张图里，猜回我当初说了什么话吗？”如果猜得准，说明图画得好；猜不准，说明图和描述之间有偏差。这个“反向猜题”的思路，就是整篇研究的灵魂所在。研究团队把这套方法命名为SpectraReward，并在此基础上进一步发展出了Self-SpectraReward这个更进一步的变体。

一、为什么AI画图需要一个“审查官”

要理解这项研究，得先搞清楚AI图像生成的基本工作方式。目前最先进的文字生成图片系统，大致分为两类：一类是专门的“画图选手”，比如Stable Diffusion或FLUX，它们只负责把文字变成图；另一类是“全能选手”，也就是既能理解图片、又能生成图片的统一多模态模型（Unified Multimodal Models，简称UMM），比如研究中用到的BAGEL。

这些系统在生成图片时，往往无法保证画出来的内容百分之百符合文字描述。颜色搞错、数量不对、空间关系颠倒，这些都是常见的毛病。为了让AI画得更准确，研究者通常借助“强化学习”这种训练方式——说白了，就是给AI的每次画图行为打分，画得好就鼓励它，画得差就让它反思，通过反复练习来提升水平。

打分的工具，就是奖励模型（Reward Model）。这个奖励模型就像一位严格的美术老师，负责评判每一张图的优劣。问题在于，请一位靠谱的老师实在太贵了。

现有的奖励模型大致分两种路线。第一种是花大力气收集海量的“人类偏好数据”，让真人给图片打分，然后训练一个专门的评分模型。这条路费时费力，而且收集到的数据容易带有偏见，难以迭代更新。第二种路线是直接拿已经训练好的多模态大语言模型（MLLM，可以理解为既懂图又懂文字的超级AI）来充当评委，让它看图说话，或者回答“这张图里有没有一只猫”这类问题。这条路省去了数据收集的麻烦，但又带来了新问题：直接让AI打分，它给出的分数往往不够稳定，容易受到问法和语气的影响；而把描述拆解成一堆小问题来逐一验证，工程复杂度又很高。

研究团队正是看准了这个空白地带，找到了自己的位置。

二、“反向猜题”：SpectraReward的核心思路

SpectraReward的工作原理，可以用一个生活场景来理解。假设你给朋友描述了一道菜：“一盘摆在木桌上的、撒了芝麻的红烧肉，旁边配着一碟腌黄瓜。”朋友照着描述做了一道菜。现在，你把做好的菜的照片给另一个从未听过描述的人看，问他：“你能描述出这道菜是什么样的吗？”如果他能说出“红烧肉、芝麻、木桌、腌黄瓜”，那说明朋友的菜做得很到位；如果他只看到了“一盘肉”，那说明菜和描述之间存在明显的落差。

SpectraReward做的事情，在数学上的精确表述是这样的：把生成的图片作为视觉输入，交给一个冻结的（即不需要额外训练、直接拿来用的）预训练多模态大语言模型，然后让这个模型在看着图片的前提下，逐字逐词地“预测”原始文字描述里每个词出现的可能性。每个词被预测出来的可能性越高，说明这张图越能支持这段描述。把所有词的可能性取平均，就得到了最终的奖励分数。

研究团队把每个词的可能性分布，形象地称为该图片与文字对之间的“语义频谱”（Semantic Spectrum）。这个频谱就像一张细密的网，记录了图片在语言层面上对每一个文字要素的支持程度。

这个方法有几个明显的优势。首先，它完全不需要额外训练，任何已有的预训练多模态大语言模型拿来就能用。其次，它只需要一次前向推理（forward pass），计算效率很高，不像问答拆解那样需要反复调用模型。再者，它给出的是连续的、细粒度的概率信号，而不是离散的1到5的评分，信号更丰富、更稳定。

研究团队还专门分析了一个可能的疑虑：语言模型本身有“语言先验”——有些词本来就容易被预测，跟图片无关。比如“的”“了”“在”这类功能词，无论配什么图都容易被猜出来。这是否会干扰奖励信号的准确性？

答案是：在强化学习的具体使用场景下，这个问题自动消失了。因为强化学习的训练方式是“组内比较”——同一段文字描述生成的一批图片互相比较，谁更好就鼓励谁。对于同一段描述，“语言先验”对所有图片的影响是完全一样的，相互抵消，不影响排名结果。

三、“自我打分”：Self-SpectraReward的闭环升级

SpectraReward的进一步演化，催生了Self-SpectraReward这个更加优雅的方案。

理解它的关键，在于理解“统一多模态模型”的特殊结构。像BAGEL这样的模型，内部同时包含两个分支：一个“生成分支”负责把文字变成图；一个“理解分支”负责看图说话。这两个分支共享同一套底层架构，包括词表、视觉编码器和预训练数据分布。

Self-SpectraReward的想法非常直接：既然模型的理解分支本来就能“读图”，为什么不让它来评价自己的生成分支画出来的图呢？用理解分支来给生成分支打分，用自己理解自己，形成一个完全不依赖外部模型的“闭环自我提升”框架。

这个设计除了省去了调用外部大模型的计算成本，还有一个更深层的结构优势。理解分支和生成分支共享同一套“视觉语言”，它们看图的方式天然匹配。就像一个人用自己的眼光来审视自己画的画，比请一个审美完全不同的陌生人来评价，往往能给出更有针对性的反馈。研究团队将这种特性称为“奖励-策略对齐”（Reward-Policy Alignment）——奖励模型与被训练模型之间的分布匹配程度。

这个概念后来成为整篇研究中最有意思的发现之一。

四、“语义频谱”真的能捕捉细节吗？

在正式开展大规模实验之前，研究团队先做了一系列精心设计的分析，来验证SpectraReward的“眼力”是否足够准确。

他们构造了两类典型的图文不匹配场景。第一类是“属性错误”，用数量来举例：描述是“两只猫坐在沙发上”，但对比图里变成了“五只猫”。第二类是“物体错误”：描述是“一把靠在墙上的木吉他”，但对比图里把吉他换成了一把椅子。

对每对图片，研究团队都用同一段正确的描述来计算SpectraReward，然后逐词观察概率变化。结果非常直观。在第一类场景里，“两只”这个词在五猫图上的预测概率急剧下降，其他词变化不大。在第二类场景里，“吉他”这个词的预测概率在椅子图上几乎跌到谷底，同样其他词几乎不受影响。把所有词的概率取平均之后，正确图片对应的奖励分数明显高于错误图片。

这说明SpectraReward不只是给出一个模糊的“整体评分”，而是真正在词语层面上感知到了图文之间的语义偏差，具有细粒度的辨别能力。

研究团队还进一步验证了奖励排序的可靠性。他们拿出同一段描述生成的多张图片，按照SpectraReward的分数从低到高排列，然后请人来对照文字描述判断图片质量。结果显示，奖励分数的排名与人类判断的质量排名高度一致：分数高的图片，确实更完整地包含了描述中的物体、属性和空间关系；分数低的图片，往往缺少某些要素或存在明显错误。

五、大规模实验：数字背后的真实进步

验证了SpectraReward的理论可靠性之后，研究团队展开了一场规模宏大的实验。这场实验覆盖了两种不同的图像生成模型（SD3.5-M和BAGEL），三种不同的强化学习训练算法（FlowGRPO、AWM、DiffusionNFT），九种来自四个不同模型家族的奖励用多模态大语言模型（参数量从40亿到2350亿不等），以及五个完全不同于训练数据的下游评测基准（GenEval、TIIF-Bench、DPGBench、GenEval2、WISE）。

以BAGEL作为被训练的图像生成模型为核心实验场景，训练分辨率设定为512×512，每次训练步骤使用32个文字描述，每个描述同时生成16张图进行组内比较。奖励最好的强化学习算法被确认为AWM（Advantage Weighted Matching，一种基于优势权重匹配的训练方式），因此主实验均采用AWM。训练使用了32块A100显卡，总共进行380个训练步骤。

实验结果相当亮眼。在512分辨率推理条件下，与原始BAGEL基线相比，SpectraReward在TIIF-Bench短文本和长文本总体得分上分别提升了10.0和6.2分；Self-SpectraReward在GenEval上则带来了5.5分的提升。对比另一个强化学习基线AlphaGRPO，SpectraReward在TIIF-Bench短文本上领先6.3分，长文本领先5.3分，GenEval领先3.3分。

特别值得一提的是，所有训练都在512分辨率下完成，但在1024分辨率的推理测试中同样取得了显著提升。Self-SpectraReward在1024分辨率下，GenEval达到89.8分，GenEval2达到34.3分。在强调世界知识理解能力的WISE基准上，Self-SpectraReward配合模型自身的思维链推理，达到了0.76的总分，超越了所有对比方法。

从不同评测维度来看，进步并非集中在某个单一类别上。在GenEval的细分类别中，计数、空间位置和颜色-属性绑定这些需要复杂组合理解的场景，提升幅度最为突出。在TIIF-Bench中，从基础属性跟随到高级推理组合再到设计师风格提示词，各个子类别均有可观的改善。在DPG-Bench中，关系理解和属性敏感度方面的提升也清晰可见。

六、奖励模型的“最佳体型”：规模越大不一定越好

这场大规模实验还带来了一个反直觉的发现，碘伏了“越大越好”的常识性判断。

研究团队系统地测试了Gemma3、InternVL3.5和Qwen3-VL三个模型家族，参数量从40亿一路覆盖到2350亿。结果呈现出一种非单调的模式，也就是说，并非参数越多，奖励模型就越有用。

以Qwen3-VL家族为例，从8B（80亿参数）扩展到30B（300亿参数）确实带来了全面的指标提升，但继续扩大到235B（2350亿参数）反而出现了明显的下降。在Gemma3家族里，从4B扩到12B改善了GenEval，但对TIIF-Bench的提升却不够稳定。

研究团队对此给出的解释很有说服力：更大的多模态大语言模型在预训练和微调过程中，往往把更多能力分配给了复杂的视觉推理和多任务指令跟随，而SpectraReward实际需要的，是最基础的“看图猜描述”能力——这种能力在中等规模的模型上就已经基本饱和了。对SpectraReward来说，30B级别的模型是一个性价比最高的甜蜜点。

另一个有意思的发现是，预训练阶段的模型往往比经过指令微调的版本更适合充当奖励模型。Gemma3-12B的预训练版本在三个评测基准上的表现全面优于经过指令微调的12B版本。原因同样合理：预训练阶段大量接触了图文配对数据，直接学会了“看图猜文字”这件事；而指令微调更侧重于回答问题、执行任务，偏离了SpectraReward所需要的核心能力。

七、最出乎意料的冠军：Self-SpectraReward打败了比自己大30倍的模型

如果说上面的发现已经够惊喜，那么Self-SpectraReward的实验结果更是令人侧目。

使用BAGEL自身的理解分支作为奖励模型的Self-SpectraReward，不仅在同等规模的奖励模型中表现最好，甚至在GenEval、GenEval2和WISE等关键指标上，超过了使用Qwen3-VL-235B（2350亿参数，大约是BAGEL的30倍）作为奖励模型的SpectraReward版本。

这个结果直接印证了研究团队关于“奖励-策略对齐”的核心假设。BAGEL的理解分支和生成分支共享同一套视觉编码器、词表和预训练分布，它“看”BAGEL生成的图片时，与BAGEL“想象”图片时的内部表征天然吻合。这种内在的匹配，让自我评价的信号比任何外部大模型的评价都更精准、更有针对性。

这就好比一位画家用自己的审美标准来评价自己的作品，往往比找一个审美体系完全不同的评论家来打分，能给出更有指导意义的反馈。这不是因为画家的审美更高，而是因为他的审美和他的创作风格高度匹配。

这个发现对整个领域有重要的方法论启示：在构建强化学习奖励模型时，奖励信号与被训练模型之间的分布匹配程度，可能和奖励模型的绝对规模同等重要，甚至更重要。

八、不同评分方式的比较：为什么“猜题”比“打分”更靠谱

研究团队还专门对比了三种利用多模态大语言模型来构建奖励信号的不同方式，以澄清SpectraReward的优越性从何而来。

第一种方式是直接让模型给图片打1到5分，用这个分数作为奖励。实验结果很不理想，GenEval的得分甚至比完全不做强化学习的基线下降了6.3分。原因在于，“打分”这个行为高度依赖模型的评分校准是否准确，不同模型、不同问法给出的分数尺度差异很大，很不稳定。

第二种方式是VQA-Score：把文字描述变成一个是非问题——“这张图里有没有[描述内容]?”——然后用模型回答“有”的概率作为奖励。这种方式比直接打分稍好，在TIIF-Bench上有小幅提升，但在GenEval上仍然没能超越基线。

第三种就是SpectraReward的图文概率对数似然方法，在三个指标上全面领先。

研究团队还比较了不同粒度的奖励计算方式：直接把所有词的概率平均成一个序列级别的奖励（sequence-level），以及把每个词的概率单独作为一个奖励信号、分别计算组内优势然后再平均（token-level）。理论上，词级别的方式能更精确地放大那些视觉信息最集中的词的权重。但实验结果显示，词级别并不稳定地优于序列级别，因此默认采用序列级别的平均概率，更简洁也更稳定。

九、实验细节里的小发现

除了主要结论，研究团队还记录了几个值得关注的实现细节。

在计算SpectraReward时，研究团队排除了序列结束符（EOS token）。这个特殊符号标志着一段文字的结束，它的预测概率更多受到序列长度和终止规律的影响，与图文语义匹配关系不大。对于较短的描述，EOS会占据平均概率中较大的比重，从而稀释真正有语义意义的词的信号。去掉EOS后，GenEval有所提升，TIIF-Bench基本持平。

对于InternVL3.5系列模型，研究团队发现加上前缀提示“描述这张图”能给出更稳定的奖励值，因此对该系列模型单独做了这个处理，其他模型则不加任何前缀。

在Self-SpectraReward的实现中，BAGEL的理解分支可以选择是否接收生成编码器（VAE）输出的视觉特征，作为对语义编码器（ViT）特征的补充。实验显示，同时提供VAE特征的效果更好，GenEval和TIIF-Short都有提升，TIIF-Long的改善尤为明显。

说到底，这项研究提供的核心贡献，是一种极度简洁却出人意料有效的评估思路：与其直接问AI“画得好不好”，不如反过来测试“能不能从图里读回文字”。这个“读图反推”的思路，把一个模糊的主观评分问题，转化成了一个有明确数学定义的概率计算问题，同时还复用了多模态大语言模型在预训练阶段积累的大量图文对齐能力，不需要任何额外训练或偏好数据收集。

对于普通用户来说，这项研究意味着未来你用文字描述生成的AI图片，在颜色、数量、位置、属性等细节上会更准确，“要一只猫”就不会冒出五只，“左边的椅子”就不会跑到右边去。对于研究者和开发者来说，Self-SpectraReward的结论更值得深思：打造更强大的AI，不一定总是需要更大的外部评审员，有时候让模型“自我对话”、自己理解自己的输出，反而是更有效的提升路径。

这项研究也有清醒认识到自己的局限。SpectraReward计算的是文字描述中明确写出的内容的对齐程度，对于那些“言外之意”——比如“热咖啡”暗示应该有蒸汽——它可能反映不够充分。此外，它不直接优化美学质量和安全性，这些方面仍需要配合专门的评估工具来使用。

Q&A

Q1：SpectraReward是怎么判断AI画的图好不好的？
A：SpectraReward把生成的图片交给一个预训练的多模态AI模型，让它在看着图片的同时，逐词预测原始文字描述里每个词出现的概率。概率越高，说明这张图越能让模型“猜回”原始描述，也就意味着图和文字越匹配。把所有词的概率取平均，就得到最终评分。

Q2：Self-SpectraReward为什么能打败比自己大30倍的模型？
A：Self-SpectraReward使用的是生成模型自身的理解分支来打分，这个理解分支和生成分支共享同一套视觉编码器和预训练数据，“看图”的方式天然匹配生成图片的分布。这种内在一致性让自我评价的信号更精准，弥补了规模上的不足，在多个基准上超过了参数量大30倍的外部奖励模型。

Q3：SpectraReward训练出来的图像生成模型，在哪些方面进步最明显？
A：最显著的改善集中在复杂组合场景，包括准确的物体数量、正确的空间位置关系（左/右/前/后）以及颜色-属性的精确绑定。这些都是传统方法容易出错的细节，对应GenEval里计数、空间位置和颜色属性等子类别得分的大幅提升。