1.基于混合空间和通道间注意力的肺炎图像检测方法,其特征在于,包括:步骤1:对肺部X射线图像进行数据预处理;
步骤2:构建第一特征网络,采用所述第一特征网络对预处理后的肺部X射线图像进行特征提取,得到特征图C;
步骤3:构建第二特征网络,采用所述第二特征网络对所述特征图C进行特征提取,得到特征图F;
步骤4:构建混合空间注意力和通道间注意力的注意力模块,采用所述注意力模块对所述特征图F进行处理,得到特征张量X;所述注意力模块对所述特征图F的处理过程包括:步骤B1:针对每一批包含m张肺部X射线图像的图像集,其中每张大小为H0×W0的肺部X射线图像经第一特征网络和第二特征网络后,得到对应的特征图F,则每一批图像集的所有特征图F组成一个特征张量X;
步骤B2:对所述特征张量X进行1×1的卷积操作,再除以其正则化后的转置;
步骤B3:运用flatten()函数将步骤B2中得到的特征张量X从第二个维度开始展开,由此将每张肺部X射线图像的特征张量分离为X1,X2,X3,……XH×W;
步骤B4:对特征张量X中所有位置的特征进行全局平均池化操作得到全局的类无关特征g:步骤B5:计算通过对score进行特征张量的加权组合获取每个类别的所有空间位置的最大值,得到类特定的特征张量a:其中,T是一个>0的超参数,和分别表示Xj和Xk的转置,mi表示第i类的分类器参数;
步骤B6:根据类特定的特征张量a和全局的类无关特征g得到最终的fi:fi=g+λai;并将fi的尺寸扩展至[m,2048,1,1];其中,fi表示第i类的特征向量;
步骤B7:把fi的尺寸扩展为与步骤B1中的特征张量X相同,再与步骤B1中的特征张量X相乘得到新的特征张量X;
步骤5:构建网络分类器,采用所述网络分类器对所述特征张量X进行检测,得到检测结果;所述网络分类器的检测过程具体包括:步骤5.1:对所述特征张量X使用自适应平均池化;
步骤5.2:运用flatten()函数将步骤5.1中的特征张量X从第一个维度开始展开,然后把展开后的特征张量X输入至全连接层进行线性转换得到X′,具体为:X′=XAT+b;其中,AT表示A的转置,A表示为全连接层的参数矩阵,b为偏置行向量;
步骤5.3:将线性转换后的特征向量X′输入ReLU激活函数,具体为:ReLU(X′)=(X′)+=max(0,X′);
步骤5.4:将步骤5.3输出的特征张量X′再次输入全连接层进行线性转换,输出一个尺寸为[2048,2]的特征张量X″;
步骤5.5:将线性转换后的特征张量X″输入损失函数计算损失值;然后,通过优化器、损失函数、数据评估及超参数修改训练模型;其中,所述损失函数采用二元交叉熵函数,具体为其中,C为类别数,y表示图像的真实值,表示图像的预测值。
2.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法,其特征在于,步骤1具体包括:步骤1.1:筛除不符合要求的肺部X射线图像;
步骤1.2:将由符合要求的所有肺部X射线图像组成的数据集划分训练集、验证集和测试集;
步骤1.3:将所述数据集中的每个肺部X射线图像转化为RGB三通道图像;
步骤1.4:对每个所述RGB三通道图像进行图像增强;
步骤1.5:将进行图像增强后的每个所述RGB三通道图像转化为张量图像;
步骤1.6:对每个所述RGB三通道图像的每个通道进行正则化,然后根据三通道的均值向量和标准向量对所述张量图像进行归一化;
步骤1.7:将归一化后的每个所述张量图像转换为灰度图像。
3.根据权利要求2所述的基于混合空间和通道间注意力的肺炎图像检测方法,其特征在于,步骤1.4具体包括:步骤A1:按照p=0.5的翻转概率对所述RGB三通道图像进行水平翻转;
步骤A2:调整翻转后的所述RGB三通道图像的图像属性,具体为:将亮度偏移幅度设置为0.5,对比度偏移幅度设置为0.5,饱和度偏移幅度设置为0.5,色相偏移幅度设置为0;
步骤A3:设置随机裁剪面积比例为(0.7,1.0),将图像属性调整后的所述RGB三通道图像随机裁剪为不同的大小和宽高比,然后将裁剪后的所述RGB三通道图像的大小缩放至224×224像素;
步骤A4:采用RandAugmentation对每个像素缩放后的所述RGB三通道图像进行自动增广。
4.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法,其特征在于,所述第一特征网络采用使用了Inception卷积的ResNet101作为主干网络,共包括5个特征提取层,分别为:第一特征层、第二特征层、第三特征层、第四特征层和第五特征层;
所述第一特征层的特征提取过程包括:先采用通道数为3的64个卷积核对输入的预处理后的肺部X射线图像进行卷积操作,接着采用BN层进行BatchNormalization操作,然后采用ReLu激活函数进行处理,最后输入至通道数为64的最大池化层,得到特征图C1;
所述第二特征层的特征提取过程包括第一分支和第二分支两个分支,两个分支对输入的特征图C1分别按照各自的特征提取过程依次重复三次特征提取操作,然后将两个分支最后一次的输出执行预设处理操作,得到特征图C2;所述预设处理操作具体包括:将两个分支的输出相加后采用ReLu激活函数进行处理;
所述第三特征层的特征提取过程包括第三分支和第四分支两个分支,两个分支对输入的特征图C2分别在不同参数状态下的第三特征层中按照各自的特征提取过程依次进行四次特征提取操作,然后将两个分支最后一次的输出执行所述预设处理操作,得到特征图C3;
所述第四特征层的特征提取过程包括第五分支和第六分支两个分支,两个分支对输入的特征图C3分别在不同参数状态下的第四特征层中按照各自的特征提取过程依次进行二十三次特征提取操作,然后将两个分支最后一次的输出执行所述预设处理操作,得到特征图C4;
所述第五特征层的特征提取过程包括第七分支和第八分支两个分支,两个分支对输入的特征图C4分别在不同参数状态下的第五特征层中按照各自的特征提取过程依次进行三次特征提取操作,然后将两个分支最后一次的输出执行所述预设处理操作,得到特征图C5,将所述特征图C5作为最终的特征图C。
5.根据权利要求4所述的基于混合空间和通道间注意力的肺炎图像检测方法,其特征在于,所述第二特征网络采用FPN网络;
所述FPN网络的特征提取过程包括:使用1×1的卷积将特征图C5的通道数由2048减少为256,然后再进行上采样操作,得到与特征图C4尺寸相同的特征图,记作特征图C5_up,再将特征图C5_up和特征图C4进行加权求和,得到特征图P;采用3×3的卷积对特征图P进行特征融合,得到特征图F;对特征图F进行横向连接,将通道数增加至2048。
6.根据权利要求1所述的基于混合空间和通道间注意力的肺炎图像检测方法,其特征在于,步骤5.5中,所述优化器采用SGD优化器。
7.基于混合空间和通道间注意力的肺炎图像检测装置,包括:
预处理模块,用于对肺部X射线图像进行数据预处理;
第一特征网络构建模块,用于构建第一特征网络,采用所述第一特征网络对预处理后的肺部X射线图像进行特征提取,得到特征图C;
第一特征网络构建模块,用于构建第二特征网络,采用所述第二特征网络对所述特征图C进行特征提取,得到特征图F;
注意力机制构建模块,用于构建混合空间注意力和通道间注意力的注意力模块,采用所述注意力模块对所述特征图F进行处理,得到特征张量X;
分类器构建模块,用于构建网络分类器,采用所述网络分类器对所述特征张量X进行检测,得到检测结果;
其中,所述注意力模块对所述特征图F的处理过程包括:
步骤B1:针对每一批包含m张肺部X射线图像的图像集,其中每张大小为H0×W0的肺部X射线图像经第一特征网络和第二特征网络后,得到对应的特征图F,则每一批图像集的所有特征图F组成一个特征张量X;
步骤B2:对所述特征张量X进行1×1的卷积操作,再除以其正则化后的转置;
步骤B3:运用flatten()函数将步骤B2中得到的特征张量X从第二个维度开始展开,由此将每张肺部X射线图像的特征张量分离为X1,X2,X3,……XH×W;
步骤B4:对特征张量X中所有位置的特征进行全局平均池化操作得到全局的类无关特征g:步骤B5:计算通过对score进行特征张量的加权组合获取每个类别的所有空间位置的最大值,得到类特定的特征张量a:其中,T是一个>0的超参数,和分别表示Xj和Xk的转置,mi表示第i类的分类器参数;
步骤B6:根据类特定的特征张量a和全局的类无关特征g得到最终的fi:fi=g+λai;并将fi的尺寸扩展至[m,2048,1,1];其中,fi表示第i类的特征向量;
步骤B7:把fi的尺寸扩展为与步骤B1中的特征张量X相同,再与步骤B1中的特征张量X相乘得到新的特征张量X;
所述网络分类器的检测过程具体包括:
步骤5.1:对所述特征张量X使用自适应平均池化;
步骤5.2:运用flatten()函数将步骤5.1中的特征张量X从第一个维度开始展开,然后把展开后的特征张量X输入至全连接层进行线性转换得到X′,具体为:X′=XAT+b;其中,AT表示A的转置,A表示为全连接层的参数矩阵,b为偏置行向量;
步骤5.3:将线性转换后的特征向量X′输入ReLU激活函数,具体为:ReLU(X′)=(X′)+=max(0,X′);
步骤5.4:将步骤5.3输出的特征张量X′再次输入全连接层进行线性转换,输出一个尺寸为[2048,2]的特征张量X″;
步骤5.5:将线性转换后的特征张量X″输入损失函数计算损失值;然后,通过优化器、损失函数、数据评估及超参数修改训练模型;其中,所述损失函数采用二元交叉熵函数,具体为其中,C为类别数,y表示图像的真实值,表示图像的预测值。