本系列主要介绍图像信号处理器 (ISP, image signal processor) 中各核心算法模块的设计以及相关的前沿研究，以典型的相机成像系统为基础，涉及的内容包括各类缺陷校正，去马赛克，去噪，3A算法（自动对焦，自动曝光，自动白平衡），超分，HDR，风格迁移等主题。
本文介绍一种可以将低分辨率图像恢复成高分辨率图像的技术，超分辨率技术(Image Super Resolution)。
背景介绍
图像分辨率指图像中存储的信息量，具体定义为每英寸图像内像素的图像，如一张1080P的图像，其分辨率为1920×1080。图像中像素点个数越多，图像承载的信息也就越多。因此，高分辨率图像（High Resolution, HR）比低分辨率图像（Low Resolution,LR）拥有更多的像素点，也拥有更多的信息和更好的图像质量。
图像超分辨率技术是通过一定的软件算法提高图像的分辨率，其优势在于开发周期短，灵活性高，弥补了改变硬件设备的缺陷，有更为广泛的应用价值。随着深度学习领域逐渐兴起，深度学习方法在图像超分辨率领域也有着广泛的应用，相比于传统的算法也有获得了较好的复原效果。
传统方法介绍
01
最近邻插值
最邻近插值是最简单的一种插值方法，也称为零阶插值算法。其原理是将邻域内最近像素点的像素值直接赋值给待插值点。以下图为例，使用最邻近插值方法将22的像素矩阵扩展为33的像素矩阵。
02
双线性插值
双线性插值（BilinearInterpolation）也称为双线性内插值，需要用到邻域内相邻的四个像素点的像素值，经过两次线性插值变换，得到待插值点的像素值。
具体的双线性插值过程为：先用四个红色的点进行线性插值变换到蓝色的中间点，再利用两个蓝色的中间点线性插值变换得到最终待求的蓝色点。
03
双三次插值
双三次插值又称为双立方插值（Bicubic interpolation）是比双线性插值更为复杂的一种插值方法，需要利用邻域内十六个像素点的值进行插值来提高图像的分辨率，反映了各个相邻点之间像素值的变化情况的影响。这种算法通常需要选取适当的基函数来模拟数据，通常选择下面的函数作为基函数：
下图描绘了4×4邻域内中像素点的插值过程。图中x代表横坐标，y代表纵坐标，f表示该点的函数值。其中红色点为选取进行插值的点，蓝色点f(x, y)为待求的插值点。
基于深度学习的超分

01
SRCNN
深度学习领域超分辨率算法的开山之作SRCNN是一个端到端网络，属于预上采样框架。预上采样框架指的是在低分辨率的图片输入到网络之前，首先对该图片进行插值上采样操作，其原理如图所示。
SRCNN是一个三层的卷积神经网络结构，包括：块特征提取、非线性映射和重建，如图所示。该预上采样框架首先使用双三次插值上采样得到放大后的图片，然后进入第一层进行块特征提取，再进入第二层非线性映射到高维向量，最后进行反卷积重建出超分后的高分辨率图片。
02
FSRCNN
FSRCNN对SRCNN进行了改进，属于后上采样框架，解决了预上采样框架中输入图片过大的问题。后上采样框架指的是将上采样的过程放在网络的最后，不需要在开始进入网络前就进行上采样操作，如图所示。
下图为SRCNN与FSRCNN的网络结构对比，FSRCNN主要包括五个部分：特征提取、收缩、非线性映射、扩张和反卷积上采样。该网络结构首先将低分辨率的图片直接输入到网络中进行特征提取，通常选取55的卷积核；然后使用11的卷积核进行收缩，改变通道数，减少网络参数；再进行非线性映射到高维向量；然后再使用11的卷积核进行扩张，相当于是收缩的逆过程；最后进行反卷积上采样，输出超分后的高分辨率图像。
03
LspSRN
为了解决预上采样框架输入图片进行上采样导致运算量增加，以及后上采样框架中放大倍数不够灵活的问题，逐级上采样框架的LspSRN网络被提出。逐级上采样框架指的是在训练过程中使用反卷积层逐级放大，如图所示。
在LspSRN中存在多个如上图所示的蓝色框完成多级的上采样，其具体的网络结构如图所示。LspSRN使用这样的网络结构，不仅可以完成多级的上采样，并且可以在训练的过程中监督每一级的输出情况和放大倍数，实现多尺度的重构。
参考文献：
[1] Dong C, Loy C C, He K, et al,”Learninga deep convolutional network for image super-resolution[C],”European conferenceon computer vision. 2014, 184-199.
[2] Dong C, Loy C C, Tang X,”Acceleratingthe super-resolution convolutional neural network[C],” European conference oncomputer vision. 2016, 391-407.
[3] Lai W S, Huang J B, Ahuja N, etal,”Deeplaplacian pyramid networks for fast and accurate super-resolution[C],”Proceedings of the IEEE conference on computer vision and pattern recognition.2017, 624-632.
[4] Lai W S, Huang J B, Ahuja N, etal,”Fast and accurate image super-resolution with deep laplacian pyramidnetworks[J],”IEEE transactions on pattern analysis and machine intelligence,2018, 41(11): 2599-2613.
[5] Wang Y, Perazzi F, McWilliamsB, et al,”A fully progressive approach to single-image super-resolution[C],”Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition Workshops.2018, 864-873.
关注我们
实验室网站：http://viplab.fudan.edu.cn/
OpenASIC官方网站：www.openasic.org
知乎专栏：http://zhuanlan.zhihu.com/viplab
微信公众号：OpenASIC
继续阅读
阅读原文