这项由瑞士洛桑联邦理工学院(EPFL)、法国Valeo.ai及索邦大学联合推进的研究,于2026年7月2日以预印本形式发表,论文编号为arXiv:2607.02375。
谈及AI图像生成,多数人已领略过Midjourney、FLUX等工具创作的惊艳画面。然而,鲜有人注意到,这些工具在生成一幅图像时,实际上在幕后进行了多步"思考"——部分模型甚至需要历经二十步或五十步才能完成一张图。这好比一位画家,必须先打草稿、再上底色、然后细化、最后收尾,每一步都在修正前一步的结果。这个过程虽然精准,但速度却相对较慢。
那么,是否存在可能训练一个AI,使其能够"提笔即成",仅用一步就生成高质量图像?这正是本论文要解决的核心问题。研究团队将他们的方法命名为"表征分布匹配"(Representation Distribution Matching,简称RDM),并在此基础上提出了改进版本iRDM。他们不仅成功实现了单步生成,还证明了单步模型的质量可以超越四步模型——这在以往几乎难以想象。
一、为何"一步成图"如此艰难?先从AI如何"评判优劣"说起
要理解这项研究,首先需要明白AI是如何评估一幅图像"好"与"不好"的。
在AI的世界里,评判一幅图像的好坏,本质上是在比较两组图像的"分布"——即观察生成的图像整体上是否与真实照片相似。打个比方,假设你从未见过猫,但手中有一本包含一百万张猫照片的相册。你的任务是训练一个机器人,让它画出的猫"看起来像是从这本相册中随机抽取的"。如何判断它画得像不像?就是将它绘制的一批猫与相册中的一批猫放在一起,审视两批猫的整体感觉是否一致。
当前的主流做法(扩散模型、流匹配模型)是让AI学习"如何将噪声逐步转化为图像"的过程,就像教它按照一份详细的菜谱,一步步完成烹饪。这种方法可靠,但必须按顺序走完所有步骤,因此推理速度受限。
而RDM的思路则截然不同——它直接向AI传达:"你生成的一批图像与真实图像在某种特征空间中的分布必须一致。"这就好比不教厨师菜谱,而是告诉他:"你做的菜,在味道、香气、外观上都必须与米其林餐厅出品的一致。"只要满足这个最终标准,中间过程可以任意发挥。这种方式天然适用于"一步生成"——因为约束的是最终结果的分布,而非中间过程。
但随之而来的问题是:如何衡量"分布是否一致"?应该采用什么标准进行比较?这正是本篇论文花费大量篇幅重点研究的两个核心设计维度。
二、两把"测量标尺":如何比较分布,以及在何处比较
研究团队将整个RDM框架的设计空间归纳为两个维度。第一个维度是"比较方式"——使用何种数学工具来衡量两组图像分布之间的差异。第二个维度是"比较场所"——在哪个"特征空间"中进行比较,即采用哪种预训练好的神经网络来提取图像特征。
这两个维度初听起来有些抽象,但可以用一个生活类比来理解。假设你是一位葡萄酒品鉴师,需要判断一批新酿的酒是否与某个年份的珍藏酒风格一致。"比较方式"是你的评判标准——你是测量酒精度、单宁含量,还是采用更全面的气相色谱分析?"比较场所"是你的鉴定维度——你从香气、口感、颜色哪个角度进行鉴定?不同的标准和维度,得出的结论可能大相径庭。
在本论文之前的方法中,这两个维度的选择往往是绑定在一起的,因此很难明确究竟是哪个选择在发挥作用。研究团队的贡献之一,就是将这两个维度拆分开来,逐一进行测试。
三、"最大均值差异"这把旧标尺,其实并未过时
在比较方式这个维度上,研究团队发现了一个令人惊喜的事实:一个十年前被主流方法放弃的工具,其实本身并无问题,只是之前的使用方式不对。
这个工具名为"最大均值差异"(Maximum Mean Discrepancy,MMD)。简单来说,它的工作原理如下:为两组图像的特征分别打上"标签",然后计算一个分数;当两组图像来自同一分布时,该分数为零,差异越大则分数越高。十年前,研究者尝试用它来训练图像生成器,但效果不佳,于是大家认为它"能力不足",转而发展GAN(生成对抗网络)等更复杂的方法。
然而,本论文的研究团队认为,MMD并非天生弱小,而是过去的估算方式存在缺陷。他们的核心洞察是:MMD包含两项——一项衡量生成图像彼此之间的差异(排斥项),一项衡量生成图像与真实图像之间的相似度(吸引项)。这两项的"信息来源"不同,应当采用不同的处理方式。
对于排斥项,它只需在当前生成的这一批图像中计算,计算量固定且可控,因此可以精确计算,无需近似。对于吸引项,它需要将生成的图像与整个真实数据集(例如ImageNet的128万张图像)进行比较。如果每次训练都重新采样一批真实图像来计算,会引入大量噪声,就像每次用一把不同精度的尺子测量同一根棍子,结果会飘忽不定。
研究团队的解决方案是,仅进行一次这种昂贵的计算,将整个128万张图像的"集体特征"压缩成一个紧凑的参考点——具体来说,采用了一种名为"Nystrom近似"的技术,用4096个有代表性的"地标点"来概括整个数据集的特征分布,然后将这个参考点冻结。之后每次训练,都让生成的图像与这个固定参考点进行比较。这相当于不是每次都重新邀请一百万个评委打分,而是事先请专家制作了一份权威的标准答案,之后每次都拿作品去对照这份标准答案。
为了验证这一设计的优越性,研究团队进行了一个非常直观的测试:在一个64维空间中,将数据隐藏成一条螺旋形曲线,然后用不同的方法训练一个生成器,观察谁能最准确地重现这条螺旋。测试结果通过两个指标衡量:锚点召回率(生成的点有多少落在螺旋上)和到曲线的中位距离(生成的点离螺旋有多近)。
在这个测试中,Nystrom版本的MMD在大批量和小批量情况下均表现最为稳定,是唯一在所有条件下都不失手的方法。精确计算的MMD在小批量下会退化(因为参考样本太少),随机傅里叶特征版本在高维下精度下降,Sliced-Wasserstein在小批量下失去召回率,而竞争对手"漂移场"方法在大批量下直接崩溃。
四、生成批量越大越好,但并非越大越优
确定了比较方式之后,研究团队开始研究另一个关键变量:每次训练时生成多少张图像。
这里存在一个经典的权衡。生成的图像越多,对当前分布的估计就越准确,就好比用1000个人的身高数据来估计某个城市的平均身高,肯定比用10个人的数据更可靠。但在相同的计算预算下,生成的图像越多,意味着更新模型的次数越少——预算有限,要么买很多便宜食材做简单菜,要么买少量好食材做精品菜。
之前的做法通常采用相对较小的批量(几十到几百张),这主要是受限于显存的无奈之举。研究团队通过一种名为"梯度缓存"的技巧突破了这一限制——简单来说,就是将一大批图像分成小块分别处理,但最终累积成一个完整批量的梯度效果,显存占用和处理小批量相同,但效果等同于处理大批量。
在保持总计算时间相同的条件下,研究团队测试了从512到10240不同的批量大小,结果发现:最小的批量(512)训练效果甚至比不训练还差,这是因为估计太不准确,噪声把模型带偏了。随着批量增大,质量持续提升,在5120左右达到一个宽阔的最优区间,10240也只是略微下降。最终,研究团队在ImageNet实验中使用5120,在更大的FLUX模型上使用10240。这个数字比业界常用的批量大小大了至少一个数量级。
条件生成任务(例如"根据文字描述画图")还带来了额外的挑战:模型可能会"偷懒"——生成的图像整体上看起来真实(满足图像分布),但不按照文字描述绘制(图文不对应)。为了解决这个问题,研究团队设计了一个"联合分布匹配"方案:将图像特征和对应的文字描述特征拼接在一起,作为一个整体进行匹配。这样一来,一张生成的图像不仅要"看起来真实",还要"与对应的描述语义一致",两个条件同时满足才算合格。
五、单靠一个评委远远不够——多编码器集成的必要性
现在来到第二个设计维度:在哪个特征空间中进行比较。
这里有一个看似反直觉的发现:即使使用一个非常强大、非常精细的特征提取器(例如顶级的DINOv2视觉模型)作为评判标准,也不足以保证图像真正高质量。
研究团队进行了这样一个实验:仅针对DINOv2特征空间进行优化,训练5120步。结果,按照DINOv2的标准,生成图像的质量分数降到了和真实图像几乎一样低——也就是说,DINOv2认为它们"和真实图像一样好"。但肉眼看上去,生成的图像远远没有那么好。一张蜥蜴的图像变得几乎和照片一样逼真,但一张打字机的图像,按键布局仍然明显不合常理。
这揭示了一个深刻的问题:任何单一的评判标准都存在盲区。DINOv2在识别蜥蜴的整体特征上很强,但在判断打字机按键排列是否符合现实逻辑方面则不够敏感。模型会聪明地找到这些盲区,优先在评委关注的地方做好,而忽略评委看不见的地方——这就是所谓的"过拟合",或者更生动地说,是"欺骗评委"。
解决方案是邀请更多不同类型的评委。研究团队组建了一个由10个不同预训练模型组成的"评审团",这些模型来自不同的训练范式:有监督分类的(Inception、ConvNeXt)、自监督学习的(MAE、DINOv3)、多模态对齐的(CLIP、SigLIP2)、多教师蒸馏的(PE-Core、RADIO)、人类相似度校准的(DreamSim),等等。每个模型都有不同的关注维度和不同的盲区,这样就很难同时欺骗所有人。
但评审团多了,新的问题随之而来:如何分配每个评委的权重?如果平均分配,模型可能会集中讨好那些最容易满足的评委,而忽视最挑剔的几位。研究团队借鉴了强化学习中的一种名为"PID拉格朗日方法"的控制论思路:哪个评委尚未被满足,就给它更高的权重;一旦某个评委已经满意,就降低它的权重。具体实现时,每个评委都有一个"满意阈值"(用真实验证集数据的分数来定),凡是尚未达到这个阈值的,按照差距大小自动提高权重,权重通过softmax归一化分配预算。这就像一桶水,水面的高度取决于最短的那块木板——"最短木板"会自动获得最多的修补资源。
六、一把新标尺:专为抗作弊设计的SWr14评分
既然训练时使用了MMD作为损失函数,评估时就不应使用同一把标尺——否则模型可能只是学会了"在MMD这把标尺下看起来好",而非真正高质量。研究团队设计了一个全新的评估指标,名为SWr14。
这个指标的设计思路是"换把标尺,换个房间"。首先,将MMD替换为"Sliced-Wasserstein距离"——这是一种完全不同的分布比较工具,与MMD的数学机制没有重叠,因此对MMD训练出的模型来说,这把标尺是全新的挑战。其次,使用14个编码器(包括4个在训练中完全没用过的"留出编码器")来计算每个编码器下的分数,然后取平均。每个编码器的分数都先除以真实验证集数据的分数(归一化),使1.0成为"真实图像"的基准分——越接近1.0越好,实际上任何已发布模型都难以低于1.30。
这个指标的优势在于:它与训练损失毫无关联(更换了数学工具),又采用了未参与训练的编码器(更换了评委),还有真实数据作为归一化基准(具备客观参照),因此很难被"游戏化"——也就是说,在这把标尺上表现好,基本上能确保图像真正高质量,而非在特定评判标准下的取巧。
