CVPR 2021 | 基于跨任务场景结构知识迁移的单张深度图像超分辨率方法

©PaperWeekly 原创 · 作者｜孙宝利

学校｜大连理工大学硕士

研究方向｜计算机视觉

项目主页：

http://faculty.dlut.edu.cn/yexinchen/zh_CN/zdylm/1123985/list/index.htm

代码链接：

https://github.com/Sunbaoli/dsr-distillation

导读：

本项研究针对深度传感系统获取的场景深度图像分辨率低和细节丢失等问题，突破现有基于彩色指导的场景深度复原方法的局限性，即在训练及测试阶段同时需要高分辨率彩色图像和降质深度图像作为网络输入来估计高质量深度图像（在实际测试环境中，同视角的高分辨率彩色辅助信息并不容易获得）。

首次提出基于跨任务场景结构知识迁移的单一场景深度图像超分辨率方法，在训练阶段从彩色图像蒸馏出场景结构信息来辅助提升深度复原性能，而测试阶段仅提供单张降质深度图像作为输入即可实现深度图像重建。

该算法框架同时构造了深度估计任务（彩色图像为输入估计深度信息）及深度复原任务（低质量深度为输入估计高质量深度），并提出了基于师生角色交换的跨任务知识蒸馏策略以及不确定度引导的结构正则化学习来实现双边知识迁移，通过协同训练两个任务来提升深度超分辨率任务的性能。

在实际部署和测试中，所提出的方法具有模型轻量化，算法速度快等特点，且在缺少高分辨率彩色信息辅助的情况下仍可获得优异的性能。

深度图像超分辨率简介

随着计算机视觉的发展，场景三维重建、姿态估计以及自动驾驶等应用成为非常热门的研究领域。这些领域都依赖于高精度、高质量的场景深度信息。然而，在实际环境下，由于深度传感器自身性能的限制和实际成像环境的复杂性，获取的深度图像分辨率普遍较低而且带有严重的噪声。面对应用领域对高质量深度图像的迫切需求，提高深度相机所摄深度图像的空间分辨率的深度超分辨率技术，已经成为计算机视觉和图像处理领域的研究热点。

现有基于彩色图像指导的场景深度超分辨率方法已经取得了显著的进展，但仍然存在一些局限性。首先，这些方法需要成对且配准的 RGB-D 数据作为训练实例，共同恢复退化的深度图。

然而，在实际测试环境中，配对的数据很难获得，影响模型的实用性。例如，RGB 图像和深度图像是由不同分辨率、不同视角的传感器分别捕获的，需要对它们进行精确的标定，才能获得高度配准的数据对。其次，考虑到内存消耗和计算负担，对高分辨率 RGB 数据的处理也阻碍了模型的实时性。

此外，RGB 特征可以作为结构信息来指导深度超分辨率任务，但是彩色图像纹理细节过于丰富，导致恢复的深度图像带有明显的纹理复制现象。因此，如何利用 RGB 信息帮助恢复深度图，同时又满足实际测试环境，还有待进一步研究。

该工作希望突破现有基于彩色指导的深度超分辨率方法的局限性，例如经典的 RGB-D 联合滤波模式（下图（a）所示）和彩色信息多尺度指导模式（下图（b）所示），从而提出了基于跨任务场景结构知识迁移的单张场景深度图像超分辨率方法（下图（c）所示），对上述问题提供一个新的解决思路。

方法简介

受多任务学习的启发，该工作构造了一个以 RGB 图像为输入的深度估计任务来辅助深度超分辨率任务，并提出了一个跨任务交互模块，包含基于师生角色交换的跨任务知识蒸馏策略以及不确定度引导的结构正则化学习，以实现双边知识迁移。

该工作通过协同训练两个任务来提升深度超分辨率任务的性能。在训练阶段，RGB-D 图像对共同参与完成训练；而在实际环境测试时，仅需要输入单张退化的深度图即可得到高质量的恢复结果，减少了对配对数据的依赖和对彩色图像额外处理的时间开销，解决了纹理复制的问题，模型更加轻量化，性能更优。

1）跨任务知识蒸馏策略

不同于常用的蒸馏技术，该工作设计了一个基于师生角色交换的跨任务知识蒸馏策略，鼓励深度超分辨率网络（DSRNet）和深度估计网络（DENet）互相学习。具体而言，教师与学生的角色将根据当前这两个任务的性能动态地切换，通过迭代的协同训练及互相学习提升两个任务的性能。

为了提炼出更有意义的、能够准确描述深度图本质结构特征的知识，该工作引入了一种多空间的蒸馏方案，从输出空间和结构空间两方面对知识进行提取。

2）不确定度引导的结构正则化学习

为了解决彩色图像和深度图像结构不一致所带来的纹理复制问题，该工作构造了一个结构预测（SPNet）任务，提供额外的结构正则化约束，帮助深度估计和深度超分辨率任务学习更多的有效信息结构表示，进而辅助深度结构的恢复。深度图像恢复的误差往往出现在深度边界和精细结构附近区域，具有较高的恢复不确定性。

因此，该工作设计了一个不确定性引导的注意融合模块，通过将恢复的不确定性融入到特征图中来加强有效的结构特征，然后送入结构预测网络中，以深度边缘图像为监督，通过信息后向传播来约束网络的更新方向。

实验结果

该工作在社区流行的数据集上都进行了实验，包括 Middlebury，NYU v2 以及 ToFMark。在测试阶段我们仅仅使用 DSRNet（不使用 RGB 信息），并且与很多彩色指导的深度超分辨率方法得到了可比较的结果，部分实验结果如下：

该工作也对蒸馏策略和结构预测网络进行了消融研究，对应实验结果如下：

相关成果

近年来，课题组围绕三维场景深度估计与恢复方面开展了深入研究。从深度信号分析与建模等基础理论问题，到真实应用环境（涵盖陆上及水下场景）下的深度估计与恢复，发表了一系列相关工作，具体包括深度图像建模及计算重建，室内场景深度估计，室外复杂道路场景深度估计，水下低能见场景无监督域适应深度估计及颜色矫正等方面。具体参考文献如下。

参考文献

[1] Baoli Sun, Xinchen Ye*, Baopu Li, Haojie Li, Zhihui Wang, Rui Xu, Learning Scene Structure Guidance via Cross-Task Knowledge Transfer for Single Depth Super-Resolution, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021

[2] Xinchen Ye, Baoli Sun, Zhihui Wang*, Jingyu Yang, Rui Xu, Haojie Li, Baopu Li, PMBANet: Progressive Multi-Branch Aggregation Network for Scene Depth Super-Resolution, IEEE Trans. Image Processing, 29:7427-7442, 2020

[3] Xinchen Ye*, Baoli Sun, Zhihui Wang, Jingyu Yang, Rui Xu, Haojie Li, Baopu Li, Depth Super-Resolution via Deep Controllable Slicing Network, ACM International Conference on Multimedia (ACMMM), 2020, Seattle, USA

[4] Xinchen Ye*, Shude Chen, Rui Xu, DPNet: Detail-Preserving Network for High Quality Monocular Depth Estimation, Pattern Recognition, 109:107578, 2021

[5] Xinchen Ye*, Mingliang Zhang, Jingyu Yang, Xin Fan, Fangfang Guo, A Sparsity-Promoting Image Decomposition Model for Depth Recovery, Pattern Recognition, 107: 107506, 2020

[6] Xinchen Ye; Zheng Li; Baoli Sun; Zhihui Wang*; Rui Xu; Haojie Li; Xin Fan; Deep Joint Depth Estimation and Color Correction from Monocular Underwater Images based on Unsupervised Adaptation Networks, IEEE Trans. Circuits and Systems for Video Technology, 30(11): 3995-4008, 2020

[7] Zhihui Wang; Xinchen Ye*; Baoli Sun; Jingyu Yang; Rui Xu, Haojie Li; Depth Upsampling based on Deep Edge-Aware Learning, Pattern Recognition, Pattern Recognition, 103: 107274, 2020

更多阅读