先分享一个关键结论:在图像到图像翻译(I2I)领域,扩散模型近年来几乎形成了一套默认策略——将输入图像与噪声混合,再逐步去噪,最终“还原”出目标图像。这条技术路径非常合理,也确实取得了显著成果。无论是超分辨率、去雨、去雾、低光增强,还是风格迁移,扩散模型凭借卓越的生成质量与多样性,始终稳居I2I任务的领先地位。
然而近期,来自香港大学、中国科学院沈阳自动化研究所、加州大学圣克鲁兹分校等机构的研究团队提出了一个尖锐问题:我们是否一直在“噪声”问题上过于想当然?
更直接地说,扩散模型中的高斯噪声,可能并非只是单纯的、等待被去除的干扰项,也不仅仅是用于将数据从低维流形中“吹散”的工具。它或许还扮演着一个此前被严重低估的角色:域协调器。论文提出的DRDD框架,正是基于这一发现,重新设计了一套统一且数据高效的I2I翻译方案。

从“移除噪声”到“利用噪声”:I2I扩散模型的机制被重新审视
以往的I2I扩散方法,思路相对简单,大致可分为两类。
早期方法如SR3、WeatherDiff,从纯高斯噪声开始反向生成,将输入图像作为条件信号。后来的方法如RDDM、IR-SDE发现直接从纯噪声出发不够稳健,于是改为从“带噪输入图像”开始反向采样,从而更好地保留输入结构,减少推理过程中的不确定性。
然而,这些方法有一个共同特点——也是它们的“软肋”:都倾向于将整个图像翻译过程压缩成一个单一、耦合的反向扩散过程。换句话说,在每一步采样中,模型既要完成去噪,又要处理残差,还要同时实现从源域到目标域的转换。这听起来很自然,但问题也随之显现。
如果只处理单一任务,这种耦合或许可行;但一旦进入统一I2I场景——即一个模型要同时应对低光增强、去雨、去雾、去模糊、去噪等多个任务——麻烦就大了:不同任务的退化类型与图像域差异会形成巨大的domain gap。模型需要在分布差异极大的空间里找到一条统一的映射路径。
这正是DRDD的切入点。它提出了一个非常巧妙的逆向思考:既然加噪能使不同域的特征分布彼此靠近,那为什么非要急着在核心翻译尚未完成时就把噪声去掉呢?
别急着去噪:高斯噪声其实正在帮你“对齐”不同域
在DRDD的视角下,高斯噪声在I2I翻译中的角色被重新定义。
传统观点中,噪声主要有两大功能:一是将数据从低维流形中“驱赶”出来,二是为score estimation提供更丰富的训练信号。但这项工作的创新之处在于,它从理论和实验上证明,注入一定水平的高斯噪声,能显著降低不同域特征分布之间的差异。
举例来说,原本低光、去雨、去雾等任务在特征空间里可能“各自为政”,互不干扰;但注入适当噪声后,它们的分布神奇地被拉近了。论文的Figure 1通过t-SNE可视化清晰展示了这一点:源域之间的gap非常明显,而加入噪声后的Source+Noise domain中,不同任务的特征点明显靠拢。

这对统一I2I模型来说至关重要。因为统一模型最怕的不是某个任务特别难,而是不同任务之间互相“打架”。如果噪声能先把这些不同域拉进一个更协调的空间,那么模型学习统一映射的难度自然会下降不少。
问题恰恰在于,现有的耦合扩散模型虽然也加噪,但它们在反向过程中是一边进行源到目标的转换,一边顺手把噪声去掉了。这导致了一个尴尬局面:噪声刚刚建立起来的域协调效果,还没来得及服务于核心的图像翻译,就被模型提前“擦”掉了。就像你刚为来自不同领域的图像搭建了一座中间桥梁,结果翻译过程还没来得及通过这座桥完成迁移,桥就先被拆了。

DRDD的核心:把“去残差”和“去噪”拆开,分步走
那么,DRDD的具体做法是什么?很简单,它不再把残差去除和噪声去除塞进同一个过程,而是将它们拆成两个截然不同的阶段。
具体而言,DRDD将传统的单一扩散过程解耦为两个顺序执行、彼此独立的阶段:
第一阶段是随机噪声扩散。这个阶段的任务是向目标图像中注入高斯噪声,使目标域进入一个“带噪但更协调”的空间。其核心使命就是实现域协调。
第二阶段是确定性残差扩散。在固定好噪声水平后,模型开始学习目标到源的残差变化。简单说,就是把图像翻译所需的语义映射,放到这个噪声充当“中间人”的域里去完成。
反向过程也对应拆成两步:先在带噪域里完成残差去除(完成源域到目标域的转换),然后再做去噪(把已转换完成的带噪目标图像变成干净的最终结果)。
这和传统耦合扩散最大的区别在于:传统方法是一边换域,一边去噪;而DRDD是先让噪声“值班”,在噪声还没被清理时完成换域,最后才去噪。看似只是顺序变了,实际上它本质性地改变了扩散模型做I2I翻译的几何路径,让噪声的域协调效果完整保留到核心映射阶段,而不是在中途被提前消耗掉。

DRDD的两个核心优势:域协调 + 数据效率
这项工作的优势可总结为两点。
第一,它让统一映射变得更容易学。在统一I2I任务中,不同退化类型和图像域之间的gap,会严重限制模型用一个共享参数空间覆盖所有任务。DRDD通过固定在噪声域里完成残差去除,相当于先把这些各不相同的任务拉到同一个协调的中间空间,再学习源到目标的核心变换。这不是随便“多加点噪声”那么简单,而是真正把噪声变成了一个有辅助作用的中间域。
第二,它显著提高了数据效率。DRDD的去噪阶段,只需要干净的目标域图像进行训练,完全不需要成对的源域-目标域样本。这意味着,只要你有大量unpaired的target-domain images,就可以训练或增强去噪模块,从而大幅提升最终图像的保真度。论文也专门指出,DRDD的denoising network可以仅仅在干净图像上训练,甚至可加载大规模自然图像上的预训练权重来初始化。
I2I任务中,最贵的往往不是图像本身,而是成对的训练数据。比如真实的低光图和对应的正常曝光图、真实的模糊图和清晰图,这类成对数据在大规模上收集起来非常困难。DRDD把必须依赖配对数据的部分精准缩小到残差映射阶段,而把提升去噪质量这个环节交给了更容易获得的非配对目标域图像。这种“各司其职”的设计非常巧妙。
实验结果:统一修复、多域任务、少数据,都能打
DRDD的实验设计覆盖了多个维度的验证:多任务统一图像修复、多域单任务I2I、单域单任务I2I、少量配对数据场景、跨扩散范式兼容性,以及对噪声强度的深入分析。整体来看,它的目标不是在单个benchmark上刷高分,而是多角度验证“解耦”这件事确实有效。
1. All-in-One-5:统一图像修复,平均表现领先
在All-in-One-5统一图像修复benchmark上,DRDD同时要处理低光增强、去雨、去噪、去模糊、去雾五类任务。结果显示,DRDD在平均指标上取得了SSIM 0.916 / LPIPS 0.073 / FID 18.3的成绩,整体上优于DA-CLIP、DiffuIR、AdAIR、VLUNet、DFPIR等方法。尤其在感知质量指标上优势更为明显。这说明DRDD并非为某一特定任务量身定制,而是真正具备了all-in-one restoration的统一建模能力。
2. 少量配对数据:数据越少,优势越明显
DRDD另一个重要亮点是数据效率。论文在Low-Light和All-in-One-3任务上做了数据裁剪实验,将训练集随机下采样到75%、50%、25%,以验证在少量配对数据下的表现。结果非常明显:随着训练数据减少,DRDD的性能下降幅度远小于DiffUIR、VLUNet等基线方法。从Figure 5的曲线中也可以看到,无论是低光增强还是All-in-One-3任务,DRDD在SSIM和LPIPS指标上都保持了更稳定的表现。这传递了一个清晰信号:DRDD的提升不是靠吃更多配对数据堆砌出来的,而是靠把配对映射与目标域去噪拆开,从而让每类数据都承担了更合适的角色。


3. 噪声不是越大越好:DRDD也给出了“加多少”的答案
既然噪声能协调域分布,一个很自然的问题就是:是不是噪声越大越好?答案是否定的。噪声太小,域协调效果不够;噪声太大,又过度破坏输入结构,反而让翻译任务变得更难。因此,DRDD从理论和实验两侧都对噪声强度进行了分析。
论文定义了两个距离:一个衡量带噪源域和带噪目标域之间的距离,另一个衡量带噪源域和原始源域之间的距离。前者希望越小越好,因为域gap小更好翻译;后者不能太大,否则会破坏输入。最终,通过一个trade-off目标找到了合适的噪声水平。在All-in-One-5任务上,理论分析得到的最优噪声强度大约在1.1到1.2之间;实际实验中,模型在噪声强度为1.0时达到最优,且在0.8到1.3的范围内表现稳定。这等于说,DRDD使用噪声不是无凭无据的玄学,而是有理论约束、有实验验证的可控设计。

从“噪声是负担”到“噪声是中间域”,DRDD改变了I2I扩散的视角
许多扩散模型的工作都在追求更好的网络架构、更快的采样效率、更强的条件控制。但DRDD的有趣之处在于,它没有把重点放在“怎么更快地去噪”上,而是反过来问:为什么一定要这么早就去噪?
在传统的耦合扩散框架里,噪声和残差是绑定在一起被一步步移除的。而DRDD的理念是分开它们:让噪声先完成域协调,让残差去除在这个被噪声重新“拉拢”的空间里发生,最后再去做保真度的恢复。这实际上把I2I扩散模型里的噪声,从一个“必须尽快清理掉的扰动”,转变成了一个“帮助不同域对齐的工作空间”。
DRDD的路线非常清晰:先利用噪声缩小域间差异,再在带噪域里完成核心的语义映射,最后去噪来提升图像保真度。这套顺序,让扩散模型不再是简单的“加噪—去噪”的生成机器,而更像是一个分段式的视觉翻译系统:噪声负责协调,残差负责转换,去噪负责精修。
当统一I2I任务逐渐从单任务的benchmark走向真实的复杂场景时,模型面对的不再是单一的、干净的、边界明确的退化类型,而是一个多任务、多域、多退化、多数据约束同时存在的世界。DRDD的意义就在于,它为这样的现实世界提供了一个更自然、更优雅的框架:不要把所有困难都塞进一个耦合的反向过程里,而是让每一个阶段分别做自己最擅长的事。
从这个角度看,DRDD不仅是一个新的I2I方法,更像是一次对扩散模型内部机制的重新拆解。噪声从来就不是敌人。用对了地方,它可能正是我们一直在寻找的、连接统一图像翻译的那座桥。
作者介绍
