图像去噪技术简要总结
本期主要针对图像去噪技术进行简要总结，包含空域、频域和稀疏表征的图像降噪方法。
01
背景知识
在ISP成像过程中的各个流程，均有可能生成噪声，按照物理成因可分为沟道热噪声、散粒噪声、放大器噪声和量化噪声等，按照其视觉效果和满足的分布特性可分为椒盐噪声、泊松噪声、高斯白噪声和脉冲噪声等几类。图1展示了在静止场景相机成像过程中各个过程产生噪声原因的完整示意图，其中沟道噪声主要满足泊松分布，其主要成因是光电转换器件中单位置生成电子数目与接受到的入射光子数目出现泊松抖动而非线性映射关系。
上图给出了ISP成像过程中不同类型噪声产生的不同视觉效果，其中最左边为原始无噪图像，右边分别为添加不同类型噪声之后的图像视觉效果。观察噪声耦合的视觉效果可知，高斯白噪声分布最加广泛，但是单位置像素值受噪声干扰产生的波动幅度不大；泊松噪声视觉效果相对最佳，但在大片纯色平滑区域处的波纹现象仍然不可忽略，椒盐噪声产生最为明显的视觉噪点，但其分布的范围和受噪声干扰的像素比例最低。
去噪方面一直是ISP成像流程中的研究热点，近年来涌现出大批新兴高效的图像去噪算法，典型代表包括2005年提出的NLM（Non-Local-Means）非局部均值去噪、BM3D联合协同滤波、LSSC(基于持续学习的稀疏矩阵编码)和WNNM(加权矩阵核范数最小化表示)等。
02
图像去噪技术分类
传统的去噪方法主要是基于数字信号特性分析、建模和数字信号处理等相关原理，按照其进行处理的不同值域，主要可分为空间域去噪、变换域去噪、基于稀疏编码和压缩方法的去噪和最后的超糅合方法去噪等几类。
基于空间域去噪的方法按照其单点去噪时选取的不同类型参考范围，主要分为基于局部统计的空间域去噪和基于非局部自相似性的空间域去噪等等。首先介绍基于局部统计特性的滤波器，及基本代表方法包括：均值滤波、中值滤波、高斯滤波和双边滤波等，各自对应的延拓方法又包括:各向异性滤波、自适应中值滤波和维纳滤波等。局部滤波器呈现出的基本特点是:简单、计算复杂度和资源消耗低，机械的考虑去噪时周围的位置相似度而非图像纹理、细节的相似度，因此时常产生局部平滑的效果。
对基于非局部自相似性的图像去噪方法，主要代表就是2005年CVPR中的NLM方法和其变式INLM(Improved NLM)等，其基本思想是搜索以当前待去噪中心点为中心的区块范围以寻求相似纹理、细节堆叠后进行去噪。由于其去噪范围限定在与当前待去噪点所属相似的图像块中，其去噪性能异常优良，然而大范围搜索将消耗巨大的计算代价和延时。
接下来针对频率域去噪，其基本思想是将图像转换至选定进行信号分解的变换域后，根据图像自然特征的不同统计特性设计不同性质的滤波器进行噪声滤波，最后将频域滤波结果反变换回原始空间域完成去噪。目前主流的信号分解域包括FT(傅里叶变换域)、DCT(离散余弦变换域)和WT(图像小波分解域等)。
近年以来，基于图像统计稀疏性和压缩编码进行去噪的方式是去噪领域的一大热点，其基本思想是自然图像中由于规则纹理、细节的分布，将图像矩阵进行变换后得到的二维矩阵能量将主要集中于有限位置而非广泛分布，这也是稀疏性名词的由来。此类方法涉及到较多的图像统计和数学推导，是目前门槛较高、性能较优良的去噪方法，主要分为NMM（矩阵核范数最小化）、LRMF（图像低秩矩阵分解）两大类。
最后是超糅合类去噪方法，其典型代表为BM3D（TIP-2007）。超糅合方法的基本特征是糅合了前面几类信号处理去噪方法的优点，抛弃缺点，因此获得了极大的去噪性能提升，是目前STOA的性能代表。
BM3D算法的流程简述如下，主要包括两大步协同滤波：基础估计和二次估计，其中每大步又各自包含: 空间3D相似块匹配堆叠、3D协同滤波和聚合等三个小步骤。3D相似块匹配是将图像中与当前待去噪位置所属纹理细节相似的图像堆叠成3D块形式，3D协同滤波是在频率域对3D堆叠块进行的频域滤波处理和反变换，聚合是为了消除同一位置像素点被不同3D块重复包含后产生的图像块堆叠效应。BM3D算法去噪性能及其优良，但过大的计算资源和计算时间使得硬件化和并行化加速较为困难。
针对传统方法，2010年TIP的一篇文章估计了其性能极限存在的理论下界，以MSE(均方根误差）作为衡量指标。其结论是:不同图像根据其自然特性的不同，其去噪的极限性能也存在下界误差。其中规则分布、纹理清晰的图像存在较高的去噪下界，纹理杂乱的图像去噪下界较低。
针对目前存在的主流深度学习去噪应用，主要可分为4类: 基于深度学习的高斯白噪声去噪、高斯盲去噪、真实含噪图像去噪和超糅合含噪图像去噪等，右图显示了各类方法的基本分类。
上图属于几种简单、经典的AI去噪网络结构，主要包括VGG16、ResNet和GAN等，通过数据驱动的AI训练后，其去噪效果时常优良于传统的STOA信号处理方法。右图展示了DnCnn网络和BM3D算法对同一张图去噪后的细节视觉效果。
此图进一步展示了AI学习应用于图像去噪应用上的优良之处，左图结果显示了AI去噪具有较强的鲁棒性和迁移性结果，能应用于ISP过程中引入的压缩量化噪声去噪等等，这是传统ISP所不具备的能力。右图进一步从PSNR的量化结果上证明了AI深度学习的高效性。
03
结 语
关 注 我 们
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明：以上内容为用户推荐收藏至CareerEngine平台，其内容（含文字、图片、视频、音频等）及知识版权均属用户或用户转发自的第三方网站，如涉嫌侵权，请通知[email protected]进行信息删除。如需查看信息来源，请点击“查看原文”。如需洽谈其它事宜，请联系[email protected]。
版权声明：以上内容为用户推荐收藏至CareerEngine平台，其内容（含文字、图片、视频、音频等）及知识版权均属用户或用户转发自的第三方网站，如涉嫌侵权，请通知[email protected]进行信息删除。如需查看信息来源，请点击“查看原文”。如需洽谈其它事宜，请联系[email protected]。