一、光照估计与低光照增强的核心区别

在计算机视觉领域，光照估计（illumination estimation）和低光照增强（low-light enhancement）是两个紧密相关但目标不同的任务：

• 光照估计是一个专门的底层视觉任务（例如文献[1,2,6]），它的输出结果可以被应用到其他任务中，如图像增强、图像恢复（处理色差、白平衡）。
• 低光照增强则针对照明不足的图像存在的低亮度、低对比度、噪声、伪影等问题进行处理，目的是提升图像的视觉质量。
• 值得注意的是，低光照增强方法有两种常见的模式：一种直接端到端（end-to-end）训练，另一种则包含光照估计作为中间步骤。

二、7篇经典低光照增强方法详解

下面按照发表时间顺序，逐一介绍基于深度学习的低光照增强代表性工作。

1. LLNet（2017 Pattern Recognition）

LLNet是最早用深度学习方法完成低光照增强的工作之一，它证明基于合成数据训练的堆叠稀疏去噪自编码器能够对低光照有噪声图像进行增强和去噪。模型训练基于图像块（patch），采用sparsity regularized reconstruction loss作为损失函数。

主要贡献

• 提出了一种训练数据生成方法（伽马校正 + 添加高斯噪声）来模拟低光环境。
• 探索了两种网络结构：LLNet（同时学习对比度增强和去噪）和S-LLNet（用两个模块分阶段执行对比度增强和去噪）。
• 在真实低光照图像上实验，证明用合成数据训练的模型的有效性。
• 可视化网络权值，提供关于学习到的特征的见解（insights）。

小提示： LLNet的工作虽然简单，但开创了用深度学习处理低光照增强的先河，后续很多方法都借鉴了其合成数据生成思路。

2. MSR-net（2017 arXiv）

这篇文章引入了CNN，并提出了一个有趣的观点：传统的multi-scale Retinex（MSR）方法可以看作一个有着不同高斯卷积核的前馈卷积神经网络，并进行了详细论证。之后，仿照MSR的流程提出了MSR-net，直接学习暗图像到亮图像的端到端映射。

网络结构

MSR-net包括三个模块：多尺度对数变换 → 卷积差分 → 颜色恢复，结构图如上所示。训练数据采用用PS调整过的高质量图像和对应的合成低光照图像（随机减少亮度、对比度、伽马校正）。损失函数为带正则项的误差矩阵的F-范数平方（误差平方和）。

3. SICE（2018 TIP）

这篇文章主要关注单图像对比度增强（SICE），针对欠曝光和过曝光情形下的低对比度问题。

主要贡献

• 构建了一个多曝光图像数据集，包括不同曝光度的低对比度图像及对应的高质量参考图像。
• 提出了一个两阶段增强模型：第一阶段用加权最小二乘（WLE）滤波方法将原图像分解为低频成分和高频成分，然后分别增强；第二阶段对增强后的低频和高频成分融合，再次增强，输出结果。

对于为什么要设计两阶段结构？原文解释：单阶段CNN的增强效果不令人满意，且存在色偏现象，可能因为单阶段CNN难以平衡图像的平滑成分与纹理成分的增强效果。另外，第一阶段的Decomposition步骤采用传统方法，后续Retinex-Net则用CNN实现了类似分解。

常见问题：SICE为什么不用end-to-end？
因为直接端到端训练容易导致色偏和平滑/纹理失衡，先分解再处理能针对性优化不同成分。

4. Retinex-Net（2018 BMVC）

这篇文章值得重点介绍。受Retinex理论启发，它采用先分解后增强的两阶段方式，并完全用CNN实现。

主要贡献

• 构建了配对（paired）的低光照/正常光照数据集LOL dataset，应是第一个真实场景下采集的配对数据集。该数据集分为两部分：真实场景图像通过改变相机感光度和曝光时间得到；合成图像用Adobe Lightroom接口调节得到，且调节后图像的Y通道直方图必须尽可能接近真实低光照场景。
• 提出了Retinex-Net，包含两个子网络：
  • Decom-Net：对图像解耦，得到光照图和反射图；
  • Enhance-Net：对光照图增强，增强后的光照图与反射图相乘得到增强结果。
  另外，针对噪声问题采用联合去噪和增强策略，去噪方法为BM3D。
• 提出structure-aware total variation constraint：用反射图梯度作为权值对TV loss加权，在保证平滑约束的同时不破坏纹理细节和边界信息。

小提示： Retinex-Net的Decom-Net损失函数包含反射图一致性约束和光照图平滑性约束，非常容易复现，实验效果也不错。

5. MBLLEN（2018 BMVC）

核心思想是网络中不同层次的特征的提取和融合。此外还有针对视频的低光照增强网络，采用3D卷积改进，有效提升性能。

视频增强的注意事项

视频低光照增强可能存在闪烁（flickering），即帧间亮度跳变，可用AB(a vr)指标（平均亮度方差）度量。

网络结构

• FEM（特征提取模块）：10层卷积的单流向网络。
• EM（增强模块）：每层输出都输入到各个EM子模块中分别提取层次特征。
• FM（融合模块）：将层次特征拼接并通过1×1卷积融合得到结果。

为了用于视频增强，还需对网络进行修改（详见原文）。

损失函数

不使用常规MSE或MAE损失，而是提出包含三部分的新损失：结构损失（SSIM+MS-SSIM）、内容损失（VGG特征相似）、区域损失（让网络更关注低光照区域）。

6. Learning to See in the Dark（2018 CVPR）

传统成像系统的pipeline

提出的新成像系统

这篇文章主要关注极端低光条件和短时间曝光条件下的成像系统，用卷积神经网络完成Raw图像到RGB图像的处理，实验效果非常惊艳。网络结构基于全卷积网络FCN，端到端训练，损失函数采用L1 loss。同时提出了See-in-the-Dark数据集，由短曝光图像及对应的长曝光参考图像组成。

常见问题：为什么用Raw图像而不是RGB？
Raw图像保留了更多原始感光信息，在极端低光下能提供更高质量的输入，配合CNN可以实现更好的暗光恢复。

7. Kindling the Darkness（2019 arXiv）

这篇文章提出了低光照增强任务的三个难点：

1. 如何有效从单张图像中估计出光照图成分，并灵活调整光照level？
2. 提升亮度后，如何移除噪声和颜色失真等退化？
3. 在没有ground-truth、样本有限的情况下如何训练模型？

增强思路沿用Retinex-Net的decomposition→enhance两阶段方式，网络分为三个模块：

• Decomposition-Net：执行图像分解。损失函数除重构损失和反射图一致损失外，增加了针对光照图区域平滑性和相互一致性的两个新损失。
• Restoration-Net：反射图恢复。考虑到低光照下反射图存在退化效应，引入光照图信息，并以良好光照下的反射图作为参考。
• Adjustment-Net：光照调整。实现连续调节光照强度的机制（将增强比率作为特征图与光照图合并后输入）。通过与伽马校正对比，证明该调节方法更符合实际情况。

小提示： 这篇文章据称是当时的state-of-the-art，其无ground-truth训练策略值得关注。

三、总结与展望

通过以上梳理可以看到，基于深度学习的低光照增强技术从早期的自编码器（LLNet）到CNN（MSR-net）、再到基于Retinex分解的两阶段方法（Retinex-Net、Kindling the Darkness），逐步解决了低光照图像中亮度、对比度、噪声、颜色失真等核心问题。同时，视频增强（MBLLEN）和极端低光Raw图像处理（See in the Dark）也展示了广泛的应用前景。未来，如何在无监督/自监督条件下进一步提升效果、降低对配对数据的依赖，仍是重要的研究方向。

参考文献

• [1] Shi, W., Loy, C. C., & Tang, X. (2016). Deep Specialized Network for Illuminant Estimation. ECCV, 9908, 371–387.
• [2] Guo, X., Li, Y., & Ling, H. (2017). LIME: Low-light image enhancement via illumination map estimation. IEEE TIP, 26(2), 982–993.
• [3] Lore, K. G., Akintayo, A., & Sarkar, S. (2017). LLNet: A deep autoencoder approach to natural low-light image enhancement. Pattern Recognition, 61, 650–662.
• [4] Shen, L., Yue, Z., Feng, F., Chen, Q., Liu, S., & Ma, J. (2017). MSR-net:Low-light Image Enhancement Using Deep Convolutional Network. arXiv:1711.0248.
• [5] Cai, J., Gu, S., & Zhang, L. (2018). Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images. IEEE TIP, 1(c), 1–14.
• [6] Gao, Y., Hu, H. M., Li, B., & Guo, Q. (2018). Naturalness preserved nonuniform illumination estimation for image enhancement based on retinex. IEEE TMM, 20(2), 335–344.
• [7] Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to See in the Dark. CVPR, 3291–3300.
• [8] Lv, F., Lu, F., Wu, J., & Lim, C. (2018). MBLLEN: Low-light Image/Video Enhancement Using CNNs. BMVC, 1–13.
• [9] Wei, C., Wang, W., Yang, W., & Liu, J. (2018). Deep Retinex Decomposition for Low-Light Enhancement. BMVC.
• [10] Zhang, Y., Zhang, J., & Guo, X. (2019). Kindling the Darkness: A Practical Low-light Image Enhancer. arXiv:1905.0416.

编辑：黄飞