本次介绍一篇发表于2017年TIP的基于细节增强的多曝光图像的多尺度融合方法。
本文是基于2009年COMPUTER GRAPHICS FORUM的多尺度融合方法上的改进，文中的算法可以在一定程度上解决多曝光融合任务中存在的细节丢失、光晕等问题。本文首先简要介绍09年Mertens提出的Multi-Scale Exposure Fusion方法，然后介绍这篇文章的内容，最后展示实验结果。
首先简要介绍Exposure fusion任务，exposure fusion相当于单反相机中的包围曝光，即控制相机拍摄多张不同曝光值的图像（通常是三张：欠曝、正常曝光、过曝），然后对多张图像进行融合后就可以得到一张同时包含场景亮部和暗部的图片.
本文提出了一种基于细节增强的多曝光图像融合方法。其主要创新点有两个,一是在做多尺度融合时使用加权引导滤波的方法对每张权重图进行一次引导滤波，减少了融合图像中的。第二点是设计了一个细节增强模块从多张输入图中提取细节层，将提取出的细节层加到多尺度融合后的图像上可以获得更好的视觉质量。
在介绍本文方法前，先简单介绍一下09年Mertens的提出的多尺度曝光融合的方法。
该方法即考虑到在多曝光融合中待融合的图像序列中由于过曝或欠曝光会包含大面积的白色或黑色区域，这些区域通常是对比度低、色彩平淡、缺乏细节的区域。
所以Mertens提出了使用三个衡量图像质量的指标为每张输入图像生成权重图，第一个评判标准是对比度，用C表示，对比度的衡量使用的是拉普拉斯滤波后的绝对值，第二个是饱和度，用S表示，饱和度使用rgb三个通道的标准差，标准差越大说明饱和度越高。第三个是判断这个点的灰度值和0.5的接近程度，如果灰度值和0.5距离越远说明这个点的曝光水平不够好，E这一项的权重就会低，反之接近0.5说明该点是一个良好曝光的像素，E的值会相对变高。最后CSE这三个值相乘就得到输入图像融合时的权重。
然后先分别构建权重图的高斯金字塔和输入图像的拉普拉斯金字塔，在每一层上都做一次权重图和输入图像的相乘操作，最后把融合后的金字塔还原得到输出图像。
下面是我们的两张待融合的输入图像，首先分别构建输入图像的laplacian金字塔和weight map的高斯金字塔，然后在每一层上相乘再相加得到fused pyramid，最后对金字塔进行还原操作得到final image。
刚才介绍的是本文之前已有的工作，本文工作在其基础上进行了一系列的改进。第一个改进即将引导滤波引入了权重图和输入图的融合过程，用Yi表示输入图像的亮度成分，改进后的融合过程先用引导滤波把输入图像的结构转移到权重图上，第一个公式中的a和b就是引导滤波的系数。完成引导滤波后利用新的权重图对图像序列进行金字塔多尺度融合。
下面是本文算法的效果和原始算法的对比，左边一列是需要融合的三张输入图像，中间是原始方法，右边是本文算法的输出，可以看到，本文算法在暗部细节上更加丰富，不存在左边的光晕现象。
本文的第二个改进是细节层提取模块的引入。
该细节提取方法采用了优化的思路，通过求解一个二次优化问题从多帧中提取出我们想要的细节层。
我们用 Ld来表示希望提取的细节层，第一个公式是我们要优化的目标函数，第一项可以保证细节层是小信号，所有的像素都在0附近。第二项可以控制细节层的梯度尽可能和v1、v2相似，这里的v1,v2定义为N张输入图像转换到log域后的梯度场的加权平均，该梯度场在log域计算可以更好地衡量图像的局部对比度。对梯度场加权时的权重值取决于用于求梯度的两个像素值，如果像素值接近接近1/2动态范围处会给予最高权重，反之会给予低权重将其舍弃。
该优化问题可推导出如下解析解，求解该线性方程组解即可得到希望提取的细节层。
该方法提取出的细节层如图所示，左边为待融合的图像序列，右边为从中提取到的细节层。可以看到到该方法提取出来的细节分布均匀的，输入图像序列中的亮区和暗区的细节都被提取到了右图中。
最后对该细节层取对数和金字塔融合的结果相乘，得到细节增强后的图像。
这是本文算法和其他几种多曝光融合算法的对比。上方一列为待融合的序列，可以看到MEF在高亮的区域还是会出现细节丢失的问题，GFF虽然解决了亮部细节丢失的问题，但是会在明暗过渡的部分（树叶和天空的过渡部分）出现光晕。而DMEF会让图像过度锐化。最右边是本文的方法，可以看到算法不会造成图像过度锐化或光晕现象，同时能够很好保留高光和暗部的细节。
在另一个数据集上的对比，仔细观察便可发现同样是本文的算法的主观质量最优。
下面是客观质量的评测，文中使用MEF-SSIM来作为客观评测标准，MEF-SSIM是专门针对多曝光图像融合设计的评测指标，MEF-SSIM越接近1说明融合的图像质量越好。
表格里列出了本文的方法和其他三种算法在6个图像序列上的测试结果，从客观质量评测上来看，本文的方法也是最优的。
 关 注 我 们 
  实验室网站：http://viplab.fudan.edu.cn/
  OpenASIC官方网站：www.openasic.org
  知乎专栏：http://zhuanlan.zhihu.com/viplab
  微信公众号：OpenASIC
继续阅读
阅读原文