深度学习在反演成像中的最新进展
摘要
本文介绍了用于成像的反演技术,简单描述了反演成像的一般方法。本文重点总结了深度学习技术在反演成像中的最新应用进展,并讨论了深度反演成像存在的问题及可能的研究方向。
反演成像:从观测数据(EEG)到潜在影像(Brain)
y=A(x)+n
Ax = y, s.t. r(x)
其中r(x)是待求图像的先验,常常表现为正则项。该问题也可表达为:
Argmin ||Ax-y|| + λ r(x)
基于随机过程的描述
x* =arg max p(x|y)
由贝叶斯定理,得:
x*=arg max p(y|x)p(x)= arg min–(lnp(y|x)+lnp(x))
其中,p(y|x)是似然函数,由成像的物理模型描述,比如线性成像的y=Ax。而p(x)是待求图像的先验。如果成像噪声是加性白高斯噪声,则MAP可简化为:
arg min ½||Ax-y||22 + r(x)
与前述带约束最优化问题表达一致。
x*=g(A-1y) (1)
x(k+1)= P(x(k) – ηAT(Ax(k)-y)) (2)
P()是正则项r()的近端(proximal)算子。
基于深度学习的求解
其中G模块代表DNN模型,如残差网、U-net、MLP等[2,3]。与解析方法对比,训练好的神经网路的作用类似正则项的逆。训练的过程即是深度网络从数据中学习先验的过程。在有些方案中,深度模型也用于观测数据y的前处理。
注意,这一结构包含多个结构相同的迭代(proximal blocks)层,每一层算子的作用类似公式2的迭代过程。
基于生成网络的求解方法
基于流形变换的图像反演方法
数据与模型
不确定性度量
[1] A. N. Tikhonovand V. Y. Arsenin, "Solutions of Ill-Posed Problems", Wiley, New York,1977.
[2] M. T. McCann, K.H. Jin, and M. Unser, “Convolutional neural networks for inverse problems in imaging: A review,” IEEE Signal Processing Magazine,vol. 34, no. 6, pp. 85–95, 2017.
[3] O. Ronneberger,P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” MICCAI, 2015, pp. 234–241.
[4] R. Liu, S.Cheng, L. Ma, X. Fan, and Z. Luo, “Deep proximal unrolling: Algorithmic framework, convergence analysis and applications,” IEEE Trans. Image Processing, vol. 28, no. 10, pp. 5013–5026, 2019.
[5] A. Pajot, E. deBezenac, and P. Gallinari, “Unsupervised adversarial imagereconstruction,” arXiv:1912.12164, 2018.
[6] B. Zhu, J. Z.Liu, S. F. Cauley, B. R. Rosen, and M. S. Rosen, “Image reconstruction by domain-transform manifold learning,” Nature, vol.555, no. 7697, pp. 487–492, 2018.
[7] G.Ongie, A. Jalal, C. A. Metzler, R. G. Baraniuk, A. G. Dimakis and R. Willett, "Deep Learning Techniques for Inverse Problems in Imaging," IEEE Journal on Selected Areas in Information Theory,vol.1, no. 1, pp. 39-56, 2020.
[8]H.Sun, K. Bouman, "Deep Probabilistic Imaging: Uncertainty Quantification and Multi-modal Solution Characterization for Computational Imaging", arXiv: 2010.14462.
[9] D. Ulyanov, A.Vedaldi, and V. Lempitsky, “Deep image prior,” CVPR 2018, pp.9446–9454.
壁仞科技研究院作为壁仞科技的前沿研究部门,旨在研究新型智能计算系统的关键技术,重点关注新型架构,先进编译技术和设计方法学,并将逐渐拓展研究方向,探索未来智能系统的各种可能。壁仞科技研究院秉持开放的原则,将积极投入各类产学研合作并参与开源社区的建设,为相关领域的技术进步做出自己的贡献。
关键词
方法
图像
深度学习
系统
噪声
最新评论
推荐文章
作者最新文章
你可能感兴趣的文章
Copyright Disclaimer: The copyright of contents (including texts, images, videos and audios) posted above belong to the User who shared or the third-party website which the User shared from. If you found your copyright have been infringed, please send a DMCA takedown notice to [email protected]. For more detail of the source, please click on the button "Read Original Post" below. For other communications, please send to [email protected].
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。
版权声明:以上内容为用户推荐收藏至CareerEngine平台,其内容(含文字、图片、视频、音频等)及知识版权均属用户或用户转发自的第三方网站,如涉嫌侵权,请通知[email protected]进行信息删除。如需查看信息来源,请点击“查看原文”。如需洽谈其它事宜,请联系[email protected]。