低照度图像增强是图像处理的重要任务。目前许多深度学习方法被用于低照度图像增强任务。合理设计的损失函数对于提升深度增强方法的性能尤为重要。本文分析现有的深度低照度图像增强方法的损失函数。根据对数据的依赖，我们将这些函数分为监督与非监督两类来讨论。低照度图像是由于拍照时局部或全局曝光不足而产生的图像。除了暗夜外，背光、非均匀光照、阴影等条件都可能导致低照度图像的产生。这些图像上曝光不良区域往往不能呈现良好的细节，从而影响监控、目标检测或自动驾驶等下游机器视觉任务。因此，低照度图像增强是图像处理的基础问题。一个经典的增强方法是直方图均衡方法。许多图像处理工具如GIMP都提供该方法的实现。另一类经典的增强方法基于Retinex模型的方法。这类方法是对成像物理过程的近似，将图像分为光照和反射射部分，从图像中恢复的反射部分作为增强的结果。近年来，基于深度学习的低照度图像增强研究得到了广泛的关注[2]。这些方法将增强过程看作一个由深度神经网络定义的变换函数，实现输入低照度图像到输出增强图像的变换。为确定合适的变换函数，深度方法需要首先优化深度网络的参数，即模型训练。众所周知，损失函数是训练深度模型的重要一环。损失函数的定义与具体的任务相关。为构建良好的深度低照度增强方法，我们需要深入理解低照度图像特性，并定义相应的损失函数。由于低照度图像的特殊性，学者们开发了不同的损失函数。同常见的损失函数如均方误差（MSE）或交叉熵（Cross Entropy）相比，现有深度低照度方法的损失函数更多结合图像在灰度和颜色方面的特点，表现出不同的形式。为方便描述，我们记低照度图像为，相应良好曝光图像（Ground Truth, GT图像）为，恢复的增强图像为。我们尽可能减少公式描述以方便阅读。1. Supervised类损失函数
Supervised类的损失函数的计算依赖于预先准备的标记数据（如低照度-GT图像对）。深度低照度增强方法常用的函数如下：恢复图像与标记图像对应像素间差值的均方，即L2损失函数。该函数与常用的回归任务MSE损失函数相同。与L2函数类似，该函数计算与GT图像间像素差值绝对值的平均。同L2函数相比，L1函数对细节差异更灵敏。以上函数从像素级别对比增强图像与GT图像，而SSIM函数从图像结构与纹理上对比图像与GT的差异。SSIM是一种图像相似性度量，通过两图像均值、方程以及图像间协方差来计算差异。该函数从感知特征域计算图像与GT的相似度。感知特征一般采用预训练的深度模型VGG来提取，即图像经过VGG在各卷积层的激活作为特征。该函数从视觉特性上来衡量图像质量，增强的图像更符合人眼感觉。基于生成模型的方法也在低照度图像增强中得到应用，生成模型产生的增强图像应尽可能与参考(GT)图像不可区分。一般可采用对抗生成的方式构建生成模型，即同时训练生成模型G和与之对应的判别器D，相应的损失函数即对抗损失函数。具体来看，生成的结果要尽可能使得D无法判断，而D本身要尽可能区分与GT图像。一种典型的对抗损失函数可表示为[1]：注意上述公式为体现一般深度训练中的多样本均值计算。在生成模型类方法中，我们从随机的角度考虑增强图像的分布。因此我们可以利用K-L散度定义度量增强图像与GT图像概率分布上的差异。记p为概率分布函数，一种K-L损失函数可定义为[1]：Unsupervised类的损失函数计算不依赖于既有的增强图像，通过计算增强后图像特征、或者低照度图像和增强的图像间的关系来计算损失函数。这类定义考虑了自然图像的各种先验，并利用图像自身计算特征来表达。常用定义如下：自然图像内容变化是平缓的。因此我们可以把最小化增强图像的梯度作为代价函数，即最小化图像的总变分（total variation，TV)。因此平滑损失函数也称为TV Loss。对于彩色图像，可以在颜色通道上分别计算总变分，并最小化各通道总和。TV函数在传统迭代图像重建中也有着广泛应用。良好曝光的自然图像的平均灰度值往往相对固定的常数，比如[0,1]区间取值的自然图像的平均灰度一般在0.6左右。利用这一特性，我们可以分块计算增强图像的灰度均值，并计算每块与常数c差值。曝光损失函数则定义为所有块差值的均值。这一函数仅考虑增强图像的特性，与低照度图像和GT图像无关。为保存视觉上的一致性，增强图像局部区域的灰度变换与对应低照度图像的局部变换应该是一致的。也就是说，原图像一个区域灰度变化小，则对应增强图像区域相对灰度变化也要小，反之亦然。我们可以定义loss函数来引入这个先验。一种简单的定义是对比增强前后图像邻域变化的差值总和，然后计算所有像素上该值的均方。当然也可以根据实际应用而设计其它合适的函数。色彩平衡也称灰度世界假定，即一般情况下自然图像各颜色通道的均值应该是平衡的，整体是中性色（灰色）。很自然，一种色彩平衡损失函数可以简单定义为先计算不同通道均值的差值，然后最小化这些差值的平方和。可以看出，深度低照度增强方法中，不同损失函数的依赖条件和适用场景是不同的。对于有标记数据集的supervised的增强实现，可以同时集成supervised和unsupervised类型的损失函数来训练模型。如果只有低照度图像集，则可利用先验的unsupervised类函数来训练模型[3]。
事实上由于低照度图像对应的良好曝光图像往往不容易获得。在有些应用场景下，同一成像条件的低照度图像仅有一张。如何从单张图像得到增强的图像是一个有挑战的工作。因此充分挖掘低照度图像成像和内容的特点，构造更好的unsupervised类的函数能够更好的适用于复杂条件下低照度图像的增强。此外，许多低照度图像同时也存在噪声污染，如果单纯增强图像可能会放大噪声，反而降低了增强图像的视觉质量。对于这类问题，我们需要针对降噪和图像增强等多个目标设计联合优化函数。本文总结了现有深度低照度图像增强方法中各类损失函数的定义，分析了这些函数与图像特征的关系。同时，本文还探讨了不同任务中各类损失函数的应用。通过这些分析，我们可以根据实际低照度图像任务中的成像和图像特点，设计更有针对性的损失函数，从而提升深度增强方法的性能。[1] K.Jiang, et.al., Degrade is Upgrade: Learning Degradation for Low-light ImageEnhancement, arXiv:2103.10621.
[2] C.Li, et.al., Low-Light Image and Video Enhancement Using Deep Learning: A Survey,arXiv:2104.10729.
[3] C.Guo, et.al., Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement,arXiv:2001.06826.
壁仞科技研究院作为壁仞科技的前沿研究部门，旨在研究新型智能计算系统的关键技术，重点关注新型架构，先进编译技术和设计方法学，并将逐渐拓展研究方向，探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则，将积极投入各类产学研合作并参与开源社区的建设，为相关领域的技术进步做出自己的贡献。
阅读原文 
