深度学习方法在反演计算的应用得到了广泛的研究，最新的DNN方法在准确度等指标上已经超越了传统实现。我们在前几期公众号中曾对这些工作进行了总结分析, 有兴趣的读者可参阅相关文章[4]。然而，深度学习方法在反演计算中稳定性的表现尚未得到充分研究。这无疑阻碍了它在实际场景，特别是在可靠性要求高的医学成像等领域的应用。本文调研了深度反演计算方法可靠性方面的最新进展，并总结了这方面可以进一步开展的探索方向。近两年深度学习在反演成像的应用研究取得了极大的进展。各类深度重建方法在准确性或视觉效果等指标上超越了传统方法。我们在之前的公众号曾经介绍了深度反演计算的一般情况和最新进展，有兴趣的读者可参阅相关文章[4]。在实际应用时，一个不可回避的问题是深度方法的可靠性。比如，深度方法的表现在不同情况下是否发生变化？什么样的干扰对其性能影响最大？然而，深度方法的可靠性(reliability)的问题尚未有很深入的研究，这无疑限制了深度方法在实际中的应用，特别是在医学影像等重建质量敏感度高的领域。因此现阶段反演成像领域的重要研究课题是深度重建方法的可靠性研究。一般来看，深度方法重建的可靠性可以从两方面来考察：健壮性(robustness)和不确定性(uncertainty)。这里健壮性是指重建方法抗输入噪声干扰的性能，而不确定性是重建方法（或深度模型）自身的随机过程属性带来的不确定性。本文主要讨论对深度反演方法的健壮性研究。通常反演应用的测量过程中，测量或图像域的噪声不可避免。一般地，成像过程可以描述如下：其中，y是观测数据（如CT投影），x是未知待恢复图像，A是成像的过程。n是成像过程中的加性噪声。近两年各种类型的深度网络被成功应用于图像反演重建中，准确性等指标甚至超越了传统方法。Genzel等[2]一共分析了25种基于DNN的反演重建方法，并将它们归纳为三类，如下图：各类深度重建方法的框图归纳（Figure1 in [2]）图中上半部分的网络对应两类网络，下半部分对应第三类DNN结构。1后处理类：由已知变换阵A得到初始反演图像，再通过DNN(如U-Net)后处理。2 全学习网络：这类方法中变换矩阵参数也是可学习的。3 迭代网络：将迭代重建方法展开为多层DNN的深度方法。此外，其它工作[3]还分析了基于深度先验（如deepimage prior,DIP）的重建方法。这类方法用深度网络作为构建潜在影像的生成器，但重建过程本身的构建并不依赖于一般机器模型需要的训练样本。
深度重建方法常常被质疑它们的性能不稳定的。某些微小的扰动n有可能导致严重的重建伪影(artifacts)[1]。对此，学者们从多个角度深入分析了深度反演成像方法在一些常见应用中的健壮性表现。对抗攻击噪声(adversarial noise)的表现
文献[2]中，作者重点研究了测量域攻击干扰(adversarial noise)对深度反演重建方法稳定性的影响，并与经典的TV方法进行了对比。他们测试了不同强度的普通高斯噪声（统计噪声）和对抗噪声对深度反演成像方法的稳定性性能影响。对抗噪声对深度网络的影响是深度学习的热门研究。这类研究最早在分类应用中开展。深度反演重建属于回归问题。研究[2]中采用最大化下列公式来确定对于深度方法的对抗扰动。对于加性干扰n，有：这个方法通过参数η控制噪声的水平。注意,对于每种深度重建方法，由该公式确定的对抗干扰向量可能是不同的。研究[2]用一维和二维信号重建问题对这些方法进行实验。作者对比了重建信号和原始信号的差值随对抗干扰的变化，发现DNN方法对统计噪声的健壮性甚至优于TV方法。作者还认为尽管不同DNN方法的性能受其NN架构的影响，但深度重建方法对攻击扰动的健壮性不弱于传统TV方法。这个结论与文献[1]的描述不尽一致。 研究[3]也分析了对抗噪声对重建性能的影响。在这个研究中作者用fastMRI数据集对要训练和无需训练的深度反演成像方法抗噪声性能都做了测试，并与基于压缩感知的传统方法做对比。与[2]不同的是作者采用了不同的策略来计算各种深度反演方法的对抗噪声。通过分析重建图像PSNR与噪声强度关系，作者认为重建方法对各自的对抗噪声都是敏感的。与自然图像重建的视觉效果好的目标不同，MRI等医学成像更强调物理上的数据一致，特别是对小目标（比如直径0.5CM的病变组织）恢复的准确性。针对这一应用导向的问题，文献[3]用人造小特征和实际特征做了实验。通过比较各方法重建结果，作者认为各深度反演方法的小特征重建误差与图像内容相关（如下图）。在对比局部特征重建mse和图像整体SSIM后，他们发现各方法对小特征重建的稳定性与其整体图像重建准确性正相关，而深度方法的稳定性甚至优于传统方法。小特征在图像不同区域重建时的误差分布（多个方法对比，Figure7 in [3]）深度重建方法往往依赖于训练集预先训练参数，再应用到测试集。同传统方法相比，深度反演重建方法的一个特有问题是训练集和测试集样本分布的改变问题。文献[3]在fastMRI数据集上对此做了研究。作者一共分析三种情况：（1）分布不同，训练集和测试集成像都是膝关节影像但来源不同；（2）内容不同，训练集膝关节，测试集大脑影像；（3）难重建图像：一组用基准方法(i-RIM)重建SSIM最低的图像，用来测试各实验反演成像方法重建图像性能。作者发现在各种情况下，深度重建方法和传统方法受到的影响是一致的。反演成像特别是医学影像的目标是为了用于目标检测。目标检测同样是一个DNN占主导的应用。很自然地，实际应用中，我们会同时考虑图像重建与目标检测/分类方法的稳定性。文献[2]对这个问题做了简单的探索。具体的，作者针对MINST训练了一个分类器，与之前训练的深度重建模型合并，确定合并模型的对抗噪声。作者发现，较大强度的对抗噪声严重的降低了最终的分类准确性。有意思的是，同样噪声干扰下重建方法生成的中间图像从视觉效果上反而并未降质太多。一个可能的原因是重建模型和分类DNN优化的方向不一致，而在确定对抗噪声时，用于下游分类任务的DNN影响更大。联合深度任务的稳定性是一个值得深入研究的方向。总得来看，近期的研究结果表明，尽管稳定性会受到对抗噪声影响，但深度反演成像方法的稳定性似乎并不比传统方法差。对于图像小特征恢复，深度方法的表现甚至优于传统方法。对于深度方法特有的样本分布变化问题，各类深度方法都会受到样本分布变化的影响。但深度反演方法的一个潜在优势是可以和下游分类或检测任务结合，联合考虑在实际应用中整体方法的稳定性。[1]V. Antun, F. Renna, C. Poon, B. Adcock, and A. C. Hansen, “On instabilities of deep learning in image reconstruction and the potential costs of AI,” Proc. Natl. Acad. Sci., 2020[2]M. Genzel, J. Macdonald, and M. März. “Solving inverse problems with deep neural networks – robustness included?” In: arXiv:2011.04268 [cs.LG] (2020).[3]M. Z. Darestani, A. Chaudhari, and R. Heckely, “Measuring Robustness in Deep Learning Based Compressive Sensing”,arXiv:2102.06103v1.[4] 深度学习在反演成像中的最新进展, 壁仞科技研究院公众号, 3月6日, https://mp.weixin.qq.com/s/xCzK4NtXpodXmXjF_2TMAA
壁仞科技研究院作为壁仞科技的前沿研究部门，旨在研究新型智能计算系统的关键技术，重点关注新型架构，先进编译技术和设计方法学，并将逐渐拓展研究方向，探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则，将积极投入各类产学研合作并参与开源社区的建设，为相关领域的技术进步做出自己的贡献。
阅读原文 
