1.一种基于多注意力残差特征融合的医学图像超分辨率重建方法,其特点在于,所述方法包括以下步骤:
1)训练样本的处理:
为了使所提超分辨率网络模型在训练过程中有对应的高分辨率图像HR和低分辨率图像LR,先对512x512分辨率的高清医学图像原图数据集做2倍和4倍的双三次下采样,得到256x256分辨率和128x128分辨率的低分辨率数据集。
2)联合多注意力机制:
当提取到输入图像的特征H×W×C后,会分别进行通道注意力和空间注意力的处理,最后将通道注意力权重和空间注意力权重相结合得到一个三维的Attention map M(U’);在注意力机制前还添加了一个上下文融合模块Combine Context,目的是让输入图像的特征拥有更多的图像上下文信息,操作为:输入一张特征图F:H×W×C,先经过一个池化层变为H/r×W/r×C,再经过上采样变为特征图U:H×W×C,此时H×W上每个像素点都含有周围像素点的信息,见公式(1):U′=upsample(Pool(F))+F (1)然后再将U’分别输入到两个注意力模块,在通道注意力模块中,先进行全局平均池化GAP聚合特征图在每个通道的维度,得到了1×1×C大小的特征图,紧接着用一个全连接层将特征通道数降为C/r,再用一个全连接层将其变为1×1×C,得到了通道注意力的权重特征图MM
在空间注意力模块中,先用1x1的卷基层将特征通道压缩一半,再紧接一个3x3的卷基层和一个1x1的卷基层将特征变为H×W×1,得到了空间注意力的权重特征图M然后将两个注意力分支中获取到的权重特征图融合起来,由于这两张注意力特征图的形状不一样,于是先将两者扩展到H×W×C,然后再将它们逐项求和,求和后,取一个Sigmoid函数σ,将数值控制到0到1范围内,得到既有通道注意力权重也有空间注意力权重的三维注意力特征图M(U’),如公式(4):M(U′)=σ(M
再将该三维注意力特征图与最开始的输入特征F相乘,然后再将其添加到F上,得到带有双重注意力权重的特征图F’,如公式(5):通过上述步骤形成CCDA模块;
3)局部和全局残差特征融合,网络框架有三个模块构成:Head、Body和Tail,过程如下:
3.1)、Head module模块使用一个卷基层提取输入图像的初始特征图,描述为公式(6):F
其中I
3.2、Body module模块包含了G个CCDA模块,在网络结构中加入了局部特征融合,将每一个CCDA模块的输出都直接和最后一个CCDA模块的输出进行汇聚,以此形成残差注意力特征融合模块HF
其中F
3.3、Tail module模块包含上采样模块和重建模块,以Head和Body的输出作为输入,输出重建图像,该部分描述为公式(8):其中I
最后用L
其中,θ表示该网络的参数集,并采用随机梯度下降的方法对损失函数进行了优化。