1.一种基于多尺度残差的胶囊内窥镜图像超分辨率重建方法,其特征在于,能够对胶囊内窥镜采集到的图像进行相应处理,得到结构、纹理等特征更加清晰的胶囊内窥镜超分辨率图像,具体包括以下步骤:步骤1、获取待诊断患者的胶囊内窥镜图像,获取预先训练完成的超分辨率重建网络,该超分辨重建网络由两个部分组成,一部分是由浅层特征提取模块、多尺度残差特征提取模块和层次特征处理模块组成的特征提取部分,另一部分是由亚像素层上采样方法和一个以3x3为大小的卷积核构成的卷积层所组成的图像重建模块;
步骤2、将待重建的胶囊内窥镜图像输入浅层特征提取模块进行浅层特征提取,获得一级特征图,浅层特征提取模块是卷积核大小为3x3的卷积层;
步骤3、将一级特征图顺次经过n个多尺度残差特征提取模块,生成获得二级特征图;
步骤4、提取各个多尺度残差特征提取模块中生成的层级特征图,将二级特征图与各个多尺度残差特征提取模块中生成的层级特征图输入层次特征处理模块,利用层次特征处理模块将二级特征图与层级特征图进行融合,并对图像中重要的特征进行增强,然后输出得到三级特征图;
步骤5、将三级特征图送入一个以3x3为卷积核构成的卷积层,进行进一步的特征提取,生成四级特征图;
步骤6、将四级特征图输入图像重建模块,进行放大重建,得到超分辨率胶囊内窥镜图像,超分辨率胶囊内窥镜图像的分辨率大于待重建的胶囊内窥镜图像。
2.根据权利要求1所述的胶囊内窥镜图像超分辨率重建方法,其特征是:所述多尺度残差特征提取模块,采用残差块为基本结构单元,每个残差块由两个卷积层和一个ReLU激活函数组成,对于残差块可用如下数学模型进行表示:B1=φ2(σ1(φ1(B)))+B
B2=φ4(σ2(φ3(B)))+B
其中B表示的输入残差块的信息,φ1(·)和φ2(·)表示的是以3x3为卷积核的卷积操作,φ3(·)和φ4(·)表示的是以5x5为卷积核的卷积操作,σ1(·)和σ2(·)表示的是以ReLU为激活函数的信息激活操作,B1和B2表示的是分别以3x3和5x5为卷积核的残差块的输出;
多尺度残差特征提取模块由8个并行分支组成,具体可以用如下数学模型进行表示:
Y1=B11(X)
Y2=B21(X)
Y3=F3(concat(B12(F1(concat([Y1,Y2]))),B22(F2(concat([Y1,Y2]))),B13(X),B23(X),X))Y4=B14(Y3)
Y5=B24(Y3)
Y6=F6(concat(B15(F4(concat([Y4,Y5]))),B25(F5(concat([Y4,Y5]))),B16(Y3),B26(Y3),B17(X),B27(X),Y3))Y=F7(Y6)+X
其中X表示的是输入多尺度残差特征提取模块的信息,B11(·)、B12(·)、B13(·)、B14(·)、B15(·)、B16(·)和B17(·)表示的是以3x3为卷积核残差块,B21(·)、B22(·)、B23(·)、B24(·)、B25(·)、B26(·)和B27(·)表示的是以5x5为卷积的残差块,concat(·)表示的是一个特征融合操作,F1(·)、F2(·)、F3(·)、F4(·)、F5(·)和F6(·)表示的是以1x1为卷积核的卷积操作,F7(·)表示的是以3x3为卷积核的卷积操作,Y表示的是单个多尺度特征提取模块的最终输出。
3.根据权利要求1所述的胶囊内窥镜图像超分辨率重建方法,其特征是:所述层次特征处理模块中设有混洗模块和基于均值和标准差的增强型注意力模块;二级特征图与各个多尺度残差特征提取模块中生成的层级特征图进行级联后输入混洗模块,接着通过一个1x1的卷积进行通道压缩后,得到融合特征图;将融合特征图输入基于均值和标准差的增强型注意力模块后,得到所述的三级特征图。
4.根据权利要求4所述的胶囊内窥镜图像超分辨率重建方法,其特征是:所述基于均值和标准差的增强型注意模块采用一种类似于坐标的方式对输入信息按照水平和垂直的方向分别做均值池化和标准差池化操作,将池化操作后的信息进行级联后使用混洗操作使得通道间的信息得到充分融合,对融合后的信息使用一个1x1为卷积核的卷积对其进行降维,将降维后的信息送入一个非线性激活层进行激活操作,接着调用函数h‑swish对激活后的特征处理得到新的特征;将新的特征沿着水平和垂直的方向进行分割,得到两个独立的特征,接着采用一个1x1为卷积核的卷积层对其进行升维,对升维后的特征信息分别采用Sigmoid激活函数进行激活,得到水平和垂直方向上的权重特征;最后,将这两个权重特征与输入的特征信息进行相乘操作后,得到所述的三级特征图。