CMDSR

点击下方卡片，关注“AIWalker”公众号

重磅干货，第一时间送达

本文是浙江大学&字节跳动在多退化盲图像超分方面的一次尝试。针对训练与测试时不同的退化偏移导致的模型性能下降问题，本文采用ConditionNet从输入图像提取关于退化信息的条件特征，然后根据该特征对后续的超分网络BaseNet的参数进行调整，最后参数调整后的BaseNet对输入图像进行处理得到最终的超分图像。无需关于退化的先验信息，所提方法可以自适应从不同退化数据中提取合适条件特征并生成令人满意的超分结果。

Abstract

尽管图像超分在单一退化(比如Bicubic、Blur-down)方面取得极大成功，但是，当面对真实场景的复杂且多样退化时，模型的性能会出现严重的下降。近来也有一些针对多退化问题的盲/非盲图像超分，然而这些方法在训练数据与测试数据分布存在偏差时仍会出现性能的下降。

为解决上述问题，我们首次提出一种条件元网络框架：CMDSR，它有助于SR模型学习如何针对输入分布进行自适应调整。具体来说，ConditionNet首先从支撑集(由相同任务的不同退化图像块构成)中学习退化先验信息；然后根据ConditionNet所提取的先验信息自适应调整BaseNet的参数。更进一步，为更好的提取退化先验信息，我们提出了一种任务对比损失减小同任务退化先验信息的距离，提升不同任务退化先验信息的距离。

无需预定义退化映射关系，所提盲超分方案可以通过单模型自适应生成相当好的超分结果。我们通过充分的实验验证了所提CMDSR的有效性与灵活性。

本文的主要贡献包含以下几点：

提出首个条件元网络框架用于盲图像超分，它可以自适应的进行多种退化类型的图像超分；
提出一种任务对比损失用于特征提取，即退化先验信息；
所提方案是一种通用框架，具有盲、快速以及灵活等特性。

Method

本文的主要目标：仅仅利用少量样本，开发一种可以自适应的覆盖多种退化的框架。为此，我们需要寻找一种可以刻画退化先验信息的表达并用于指导模型对该退化模式进行自适应调整。

考虑到这样一个事实：相同任务的LR图像具有相同的退化模式，我们从任务(而非图像)这个更粗的维度来看到退化问题；然后，所提取的关于退化的特征用作超分模型的先验信息并用于调整模型参数。

在该框架中，我们提供两种配置访问训练数据：

训练数据按照不同任务分组。假设多任务，每个任务包含LR-HR数据对；
ConditionNet从LR图像块提取任务级特征，BaseNet则对图像进行超分。

上图给出了本文所提方案，它包含ConditionNet与BaseNet两个模块。BaseNet并不限定具体形式的架构，在实验中作者采用了SRResNet-10作为基准。

首先，ConditionNet(表示为)从退化模式i赌赢的输入支撑集中提取条件特征，该过程可以描述如下：

ConditionNet是一种比较浅的网络，它包含两个均值池化和4个卷积操作，同时保持训练与测试时的输入样本尺寸不变。

然后，BaseNet(表示为)将根据条件特征将原始参数调整为。具体来说，我们对10个残差模块的20个卷积参数进行自适应调整。我们采用20个全连接层以作为输入生成自适应系数。此时，卷积权值调整可以描述为：

最后，参数调制后的BaseNet将输入复原为超分图像，整个过程描述如下：

Species of Loss Functions

考虑到ConditionNe与BaseNet的不同作用、对学习率和损失函数的不同敏感性，我们采用不同的学习率、优化目标对两者进行交替优化。BaseNet每训练t次迭代再对ConditionNet进行一次训练。

Reconstruction Loss 类似其他图像超分，我们对BaseNet采用损失进行优化训练：

Task Contrastive Loss 正如前面所提到的：ConditionNet应当输出具有判别性的条件特征，即相同退化具有相似的特征，不同的退化具有不相似的特征。受启发于对比学习，我们提出了一种任务对比损失用于减小相同任务的特征距离，增大不同任务的特征距离。此时定义相同任务的特征损失与不同任务的特征损失：

最后，我们采用对数与指数变换组合上述两个损失：

Combined Loss 如果仅仅采用无监督方式训练ConditionNet，输出特征对于超分泛化性能并不好。为平衡任务级特征提取与超分重建，我们将两种损失进行组合：

CMDSR训练与测试流程

Training 下图给出了CMDSR的训练流程：ConditionNet与BaseNet交替训练直到两者达到收敛。在每次迭代时，从退化分布中随机采样k个任务；然后对BaseNet进行自适应调整与训练。此外，每次迭代对ConditionNet进行一次联合优化。

Test 下图给出了测试阶段的流程。对于测试集X，我们从其他LR图像块(或者自身图像块)中提取条件特征；然后再采用BaseNet对测试集图像进行超分重建。

Experiments

在训练过程中，任务数量，每个任务的支撑集，图像块为，更新迭代：这意味着BaseNet训练9次后再进行ConditionNet的联合训练。损失函数系数,BaseNet与ConditionNet的初始学习率分别为0.001与0.0001，优化器为Adam。

训练数据采用了DIV2K，不同的退化方式选用了不同的各向同性高斯模糊(各项同性高斯模糊，核宽范围)以及加性高斯噪声(噪声水平)。

Synthetic Images

我们先看一下合成数据上的效果对比。在这方面有三种类型的退化测试集：(1) Simple，各向同性高斯模糊核，核宽+BI下采样，噪声强度为15；(2)Middle，各项同性高斯模糊核，核宽+BI下采样，噪声强度为15；(3) Severe，各向异性高斯模糊核，核宽，角度，BI下采样，噪声强度为50。

上图给出了Simple与Middle测试数据方面的指标与视觉效果对比，从中可以看到：

由于退化的未知性，BI退化的RCAN导致了比较差的PSNR指标；
DnCNN+SRMDNF的组合出现了PSNR的严重下降与过度锐化问题；
在Simple退化方面，本文所提CMDSR取得了盲超分中的最佳PSNR指标，但稍差于非盲方案。
在Middle退化方面，本文所提CMDSR取得了最佳的PSNR指标，且优于非盲方案。这说明：当退化变得复杂后，所提方案的泛化性能变的更为重要。
在视觉效果方面，CMDSR生成了更为锐化和清晰的超分结果。

上图给出了Severe退化方面的性能与视觉效果对比，从中可以看到：CMDSR以较大优势超过了其他盲与非盲超分方案。此外需要注意：SRMD采用各向异性与各向同性高斯模糊同时进行训练，而本文所提CMDSR仅仅采用了各向同性高斯模糊进行训练。这进一步说明：本文所提方法在处理分布偏移方面的泛化性能。