南京医科大学王伟团队:基于多尺度特征提取的磁共振图像超分辨率重建超分辨率卷积神经网络

发布于 2022-05-19 19:25

来源：

Digit Med 2022, 8:11 (12 May 2022)

DOI：10.4103/digm.digm_43_21

通讯作者：王伟南京医科大学

文章链接：

https://www.digitmedicine.com/article.asp?issn=2226-8561;year=2022;volume=8;issue=1;spage=11;epage=11;aulast=Feng

摘要

低分辨率磁共振成像（MRI）成像速度快，但图像细节不能满足临床诊断的需要。如何有效地处理低分辨率图像的超分辨率重建在临床应用中具有很高的价值。南京医科大学王伟教授团队将超分辨率卷积神经网络（SRCNN）引入到磁共振图像的重建中，以提高MR超分辨率重建的性能，相关研究成果以“Super‑resolution reconstruction of magnetic resonance images basedon multi‑scale feature extraction Super‑Resolution Convolution Neural Network”为题发表在《Digital Medicine》中。

介绍

磁共振成像（MRI）已广泛用于各种临床应用。尽管其功能强大，但MRI持续时间相对较长，使患者感觉不太舒服。加快成像过程的折衷方法之一是降低图像质量，使用图像后处理技术来提高MR图像质量。

近年来，随着卷积神经网络（CNN）的快速发展，基于深度学习的超分辨率重建算法已成功应用于自然图像，并逐渐被研究人员扩展到医学影像领域。

本文中，作者尝试将超分辨率卷积神经网络（SRCNN）引入到MR图像的超分辨率重建中，并探索神经网络在MR图像的高清重建中的应用前景。文章还介绍了一种基于SRCNN的多尺度特征提取方法。与仅在固定尺寸视图中提取原始特征相比，使用三个不同级别的视图来提取不同尺度的MR图像特征。多尺度特征提取（MFE）方法也可以与残差学习相结合，以提高MR图像重建的性能。这种具有MFE（MFE-SR）的超分辨率网络具有结构简单、训练速度快、图像重建时训练样本少等优势。

方法

用于超分辨率磁共振成像重建的超分辨率卷积神经网络

SRCNN被认为是第一个使用卷积神经网络结构的超分辨率重建方法。其模型架构可分为三层：图像特征提取层、非线性映射层和重建层。SRCNN是一种端到端的超分辨率方法，因此不需要人工干预或多阶段。在实际应用中计算，超分辨率MRI重建的具体CNN结构如图1所示：

图 1：用于超分辨率 MRI 重建的SRCNN。

超分辨率卷积神经网络的优化

从前面对SRCNN的讨论可以知道，标准SRCNN网络的特征提取层只有一个3×3的特征尺度，也就是最小的。然而，对于MRI的整个特征提取，3 × 3视野（FOV）不够全面。因此，多尺度特征提取涉及具有较大卷积大小（如5 × 5和 7×7）的滤波器。因此，需要引入更大的卷积滤波器，例如5 × 5和7 × 7的卷积滤波器。

因此，文章将1个5 × 5过滤器替换为2个3 × 3过滤器，将1个7 × 7过滤器替换为3个3 × 3过滤器。这个过程被称为多尺度特征提取。文章还向网络添加了残差学习，以减少训练过程中的网络退化。优化后的网络结构如图2所示：

图 2：MFE-SR的网络结构。

结果

首先，文章比较了SRCNN网络的训练时间对MR图像重建的影响。文章比较了双三次插值、150k迭代和750k迭代的重建效果，大脑和腹部图像的结果如下：

图3：脑MR图像的超分辨率重建性能比较。

图4：腹部MR图像的超分辨率重建性能比较。

图3和图4表明，SRCNN重建的MR图像在整体清晰度和图像细节方面优于双三次插值。而且，训练的迭代次数越多，重建性能越好。

除了大脑和腹部，文章对身体的其他三个不同部位，腿、肩、脚做了对比实验。文章将这五个部分的重建质量与PSNR和结构相似性指数测量 (SSIM) 进行了定量比较。结果如下：

表1：交互次数对人体不同部位磁共振重建性能的影响

如表1所示，SRCNN重建的MR图像在PSNR和SSIM上与双三次插值相比有很大提高。另外不难看出，当初始输入图像本身的分辨率较高时，使用SRCNN的重建效果更好，PSNR的提升甚至可以达到2dB以上。

为了验证SRCNN在医学图像超分辨率重建中的性能，文章使用经典算法与SRCNN进行了对比实验。综合考虑，选择机器学习领域的K-SVD、NE和IBP作为比较方法。这样一共比较了5种方法，如表2所示，SRCNN的最大迭代次数设置为750k。

表2：五种磁共振重建方法的性能比较

从表2可以看出，SRCNN作为一种深度学习方法，相对于其他非深度学习方法具有明显的优势。它在大脑、肩部和足部的重建质量方面取得了最好的效果。虽然K-SVD在腿部和腹部图像的重建性能上优于SRCNN，但在肩部和足部图像的重建方面表现不佳，因此整体效果不如SRCNN。

综上所述，SRCNN是四种算法中性能最好的，在MR图像的超分辨率重建方面具有显著优势。

接下来，文章在MR图像的超分辨率重建中将MFE-SR（建议）与标准SRCNN和VDSR进行了比较。具体的MFE-SR网络参数如图2所示。训练参数与之前的SRCNN相同。比较结果如图5所示：

图 5：腿部、肩部和脚部 MRI 图像重建的比较

为了清楚地比较三种方法之间的差异，文章还做了误差图比较，如图6所示：

图6：腿、肩和脚的误差图比较。

从图5可以发现，使用MFE-SR重建的图像比SRCNN具有更好的边缘轮廓信息。从图6可以看出，使用MFE‑SR的误差图像颜色较浅，这意味着重建误差较小。不难发现，人类视觉的感知和评价指标的值都表明文章提出的（MFE-SR）方法具有更好的重建效果。

结论

为了提高MRI的速度，本研究将SRCNN引入到MR图像的重建中。此外，受当前流行网络的启发，文章通过添加残差学习和多尺度特征学习对原始网络进行了修改。

低级特征具有更高的分辨率并包含更多的位置和详细信息，但由于经历的卷积更少，它们的语义和噪声也更少。在U-net网络中，很容易发现卷积神经网络对于图像的特征提取具有显著的优势，并且类似于网络的编解码模式，可以很好地捕捉到网络的细节特征，不同大小的卷积核感受到的FOV不同，提取特征的能力也不同；因此，文章结合的多尺度特征提取可以更好地捕捉图像特征。高级特征具有更强的语义信息，但分辨率低且对细节的感知差。

在文章的实验中，也发现了一些问题，比如VDSR的重建效果较差。文章尝试分析了造成这种情况的原因，一可能是训练集设置太少，导致网络泛化能力较弱，二是与SRCNN这样的浅层网络相比，VDSR的结构要深得多，训练成本高得多。通过增加迭代次数，网络将更好地进行MR超分辨率重建。

文章所提出的方法MFE-SR学习了低分辨率和高分辨率图像之间的端到端映射，显示出简单性和鲁棒性的优势。通过一系列对比实验，得出以下四个重要结论：

1. SRCNN网络成功引入MR图像的超分辨率重建。

2. 深度学习在医学超分辨率重建中的效果显著提升。

3. 适当包含残差学习和多特征学习对改进网络是有效的。

4. 与其他类型的超分辨率重建算法相比，基于深度学习的方法具有更好的重建性能和更高的鲁棒性。

作者信息