1.一种胸部X射线图像识别方法,其特征在于,所述方法包括:
获取若干带标识的胸部X射线图像,并对所述胸部X射线图像进行预处理,得到训练样本;
构建胸部X射线图像识别网络;所述胸部X射线图像识别网络包括Stem模块、特征提取网络和分类网络;所述Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征;所述特征提取网络包括若干个连续的ConvTransBlock模块,所述ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块;所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征;所述Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性,得到全局特征;所述FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合;所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别,并将得到的两个分类预测结果进行融合,得到样本预测分类结果;
根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果,对所述胸部X射线图像识别网络进行训练,得到训练好的胸部X射线图像识别网络;
将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中,得到胸部X射线图像的类别;
其中,所述卷积分支由两个反残差模块组成;所述反残差模块由1层点卷积层、1层深度卷积层和1层点卷积层组成,所述深度卷积层的卷积核为3×3;所述Transformer分支包括多头注意力机制和多层感知器;所述FCU模块包括下采样融合分支和上采样融合分支;
在第一个ConvTransBlock模块中:
将卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提取,并将提取的特征进行归一化处理,得到第一标准化局部特征;
将所述第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的深度卷积层中,并将得到的结果进行归一化处理,得到第一深度卷积特征;
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第二个点卷积层中,得到第二卷积特征;
将所述第二卷积特征和所述初始局部特征进行加和,将得到的结果输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第一个点卷积层中,得到第三卷积特征;
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中,得到局部融合特征;
将Transformer分支输入特征输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中,得到全局注意力特征;
将所述Transformer分支输入特征与所述全局注意力特征进行加和后进行归一化处理,将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多层感知器中,得到第一全局特征;
将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中,得到全局融合特征;
将所述第三卷积特征和所述全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的深度卷积层中,并将得到的结果进行归一化处理,得到第二深度卷积特征;
将所述第二深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第二个点卷积层中,并将得到的卷积结果和所述第二卷积特征进行加和,得到第一局部特征。
2.根据权利要求1所述方法,其特征在于,所述Stem模块由1层卷积层和1层最大值池化层组成;所述特征提取网络还包括1个卷积分支和1个Transformer分支;
根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果,对所述胸部X射线图像识别网络进行训练,得到训练好的胸部X射线图像识别网络,包括:将所述训练样本输入到Stem模块的卷积层进行特征提取,并将提取到的特征输入到最大值池化层,得到初始局部特征;
将所述初始局部特征和经过Project模块和归一化处理后的初始局部特征分别输入到卷特征提取网络的卷积分支和Transformer分支中,得到第一个ConvTransBlock模块的卷积分支输入特征和Transformer分支输入特征;
将所述卷积分支输入特征和所述Transformer分支输入特征输入到第一个ConvTransBlock模块中,得到第一局部特征和第一全局特征;
将第一局部特征和第一全局特征分别作为第二个ConvTransBlock模块的卷积分支和Transformer分支的输入进行特征提取,依此类推,将得到的第N-1个ConvTransBlock模块输出的第N-1局部特征和第N-1全局特征分别输入到第N个ConvTransBlock模块的卷积分支和Transformer分支,得到局部特征和全局特征;
将所述局部特征和所述全局特征输入到分类网络中,得到样本预测分类结果;
根据所述训练样本的标识、所述样本预测分类结果以及预设的损失函数,对所述胸部X射线图像识别网络进行训练,得到训练好的胸部X射线图像识别网络。
3.根据权利要求1所述的方法,其特征在于,所述下采样融合分支包括点卷积层和下采样模块;
将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中,得到局部融合特征,包括:将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐,并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下采样模块进行下采样;
将得到的下采样结果进行归一化处理,得到局部融合特征。
4.根据权利要求1所述的方法,其特征在于,所述上采样融合分支包括点卷积层和下采样模块;
将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中,得到全局融合特征,包括:将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的上采样模块中,得到上采样结果;
将所述上采样结果输入到第一个ConvTransBlock模块的FCU模块的点卷积层中,并将得到的通道维度对齐的特征;输入到第一个ConvTransBlock模块的FCU模块的上采样分支的下采样模块中进行下采样;
将得到的上采样结果进行归一化处理,得到全局融合特征。
5.根据权利要求2所述的方法,其特征在于,分类网络包括两个分类器;
将所述局部特征和所述全局特征输入到分类网络中,得到样本预测分类结果,包括:
将所述局部特征进行池化处理后输入到第一个分类器中,得到第一预测分类结果;
将所述全局特征输入到第二个分类器中,得到第二预测分类结果;
将所述第一预测分类结果和所述第二预测分类结果进行加和,得到样本预测分类结果。
6.根据权利要求2所述的方法,其特征在于,根据所述训练样本的标识、所述样本预测分类结果以及预设的损失函数,对所述胸部X射线图像识别网络进行训练,得到训练好的胸部X射线图像识别网络,步骤中所述预设的损失函数为两个交叉熵损失函数。
7.一种胸部X射线图像识别装置,其特征在于,所述装置包括:
训练样本确定模块,用于获取若干带标识的胸部X射线图像,并对所述胸部X射线图像进行预处理,得到训练样本;
胸部X射线图像识别网络构建模块,用于构建胸部X射线图像识别网络;所述胸部X射线图像识别网络包括Stem模块、特征提取网络和分类网络;所述Stem模块用于通过卷积和最大值池化操作提取训练样本的初始局部特征;所述特征提取网络包括若干个连续的ConvTransBlock模块;所述ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块;所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征;所述Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性,得到全局特征;所述FCU模块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合;所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别,并将得到的两个分类预测结果进行融合,得到样本预测分类结果;
胸部X射线图像识别网络训练模块,用于根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到的样本预测分类结果,对所述胸部X射线图像识别网络进行训练,得到训练好的胸部X射线图像识别网络;
胸部X射线图像的类别确定模块,用于将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中,得到胸部X射线图像的类别;
其中,所述卷积分支由两个反残差模块组成;所述反残差模块由1层点卷积层、1层深度卷积层和1层点卷积层组成,所述深度卷积层的卷积核为3×3;所述Transformer分支包括多头注意力机制和多层感知器;所述FCU模块包括下采样融合分支和上采样融合分支;
胸部X射线图像识别网络构建模块,还用于在第一个ConvTransBlock模块中:将卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提取,并将提取的特征进行归一化处理,得到第一标准化局部特征;将所述第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的深度卷积层中,并将得到的结果进行归一化处理,得到第一深度卷积特征;将所述第一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第二个点卷积层中,得到第二卷积特征;将所述第二卷积特征和所述初始局部特征进行加和,将得到的结果输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第一个点卷积层中,得到第三卷积特征;将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分支中,得到局部融合特征;将Transformer分支输入特征输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中,得到全局注意力特征;将所述Transformer分支输入特征与所述全局注意力特征进行加和后进行归一化处理,将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多层感知器中,得到第一全局特征;将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支中,得到全局融合特征;将所述第三卷积特征和所述全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的深度卷积层中,并将得到的结果进行归一化处理,得到第二深度卷积特征;将所述第二深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第二个点卷积层中,并将得到的卷积结果和所述第二卷积特征进行加和,得到第一局部特征。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储器,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述方法的步骤。