1.一种胸部CT图像识别方法,其特征在于,所述方法包括:获取胸部CT图像,并对所述胸部CT图像进行标注,得到训练样本;
构建胸部CT图像识别网络;所述胸部CT图像识别网络包括输入网络、特征提取网络和分类网络;所述输入网络用于通过空洞卷积方式提取所述训练样本的空洞卷积特征;所述特征提取网络包括X‑DMFF模块、DMS模块和自适应池化层;所述特征提取网络用于采用X‑DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征,并将局部特征经过DMS模块得到多尺度的空间特征;所述X‑DMFF模块是通道数可调的卷积模块,用于将输入的特征切分为通道相同的两路并对切分结果进行卷积,将得到的卷积结果进行通道拼接和通道混洗,得到局部信息特征;所述DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路,用于将输入的特征切分为通道相同的两路,并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗,得到多尺度的空间特征;所述分类网络用于根据所述多尺度的空间特征对训练样本进行分类,得到样本预测分类结果;
根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果,对所述胸部CT图像识别网络进行训练,得到训练好的胸部CT图像识别网络;
获取待测胸部CT图像,并将所述待测胸部CT图像输入到训练好的胸部CT图像识别网络中,得到胸部CT图像的类别;
所述输入网络包括1层空洞卷积层;所述特征提取网络由2个X‑DMFF模块、3个连续的DMS模块、1层自适应池化层组成;3个连续的DMS模块连接关系是前一个DMS模块的输出作为下一个DMS模块的输入;
其中,根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果,对所述胸部CT图像识别网络进行训练,得到训练好的胸部CT图像识别网络,包括:
将所述训练样本输入到所述输入网络的空洞卷积层中,得到空洞卷积特征;
将所述空洞卷积特征输入到所述特征提取网络的第一个X‑DMFF模块中,得到第一局部信息特征;
将所述第一局部信息特征输入到所述特征提取网络的第二个X‑DMFF模块中,得到局部信息特征;
将所述局部信息特征输入到3个连续的DMS模块中,得到多尺度的空间特征;
将所述多尺度的空间特征输入到所述分类网络中,得到样本分类预测结果,并根据所述样本分类预测结果和所述训练样本的标注进行反向训练,得到训练好的胸部CT图像识别网络;
所述X‑DMFF模块包括:两条支路,第一条支路由1层点卷积层、1层深度空洞卷积层和1层点卷积层组成;第二条支路由1层点卷积层、1层深度卷积层和1层点卷积层组成;两条支路中的卷积层的通道数可调;所述点卷积层包括卷积核个数为c/2+x、步长为1的点卷积;深度空洞卷积层包括卷积核个数为c/2+x、卷积核为3×3、步长为1、空洞率为2的空洞深度卷积;深度卷积层包括卷积核个数为c/2+x、卷积核为3×3、步长为1的深度卷积;其中c为特征通道数,x为可调整的通道数,x为大于1的整数;
其中,将所述空洞卷积特征输入到所述特征提取网络的第一个X‑DMFF模块中,得到第一局部信息特征,包括:
将所述空洞卷积特征切分为通道相同的两路特征;
将第一路特征输入到第一个X‑DMFF模块的第一条支路中,先后通过点卷积层、空洞深度卷积层以及点卷积层进行特征提取,得到空洞卷积特征;
将第二路特征输入到第一个X‑DMFF模块的第二条支路中,先后通过点卷积层、深度卷积层以及点卷积层进行特征提取,得到深度卷积特征;
将所述空洞卷积特征和深度卷积特征进行通道拼接,将得到的拼接特征进行通道混洗操作,得到第一局部信息特征。
2.根据权利要求1所述的方法,其特征在于,所述DMS模块中以自注意力模块为主干的支路包括:若干个连续的Swin‑Transformer模块、1个点卷积层、1层平均池化层;
所述DMS模块中以卷积模块为主干的支路包括:两个连续的K‑DMFF模块、1个KD‑DMFF模块;其中,所述K‑DMFF模块包括两条特征提取支路,第一条特征提取支路包括1层点卷积层,
1层卷积核大小为3×3、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层;第二条特征提取支路包括1层点卷积层,1层卷积核大小为3×3、步长为1的深度卷积层和1层点卷积层;
所述KD‑DMFF模块包括两条特征提取支路,第一条特征提取支路包括1层点卷积层,1层卷积核大小为3×3、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层;第二条特征提取支路包括1层点卷积层,1层卷积核大小为3×3、步长为2的深度卷积层和1层点卷积层;
将所述局部信息特征输入到3个连续的DMS模块中,得到多尺度的空间特征,包括:将所述局部信息特征输入到第一个DMS模块中,对所述局部信息特征在通道域上按一定比例进行切分,得到两组通道数不同、空间维度相同的切分局部信息特征;
将第一组切分局部信息特征输入到第一个DMS模块的第一条支路中,经过若干个连续的Swin‑Transformer模块,利用Swin‑Transformer模块中的自注意力机制进行特征提取,并将提取得到的特征经过一个点卷积层,对所学习到的特征进行调整,并将得到的特征经过一个平均池化层,得到注意力特征;
将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K‑DMFF模块中,得到第一卷积特征;
将第二组切分局部信息特征于所述第一卷积特征相加,得到第一融合特征;
将所述第一融合特征输入到第一个DMS模块的第二条支路的第二个K‑DMFF模块中,得到第二卷积特征;
将所述第二卷积特征与所述第一融合特征相加,并将得到的融合特征输入到第一个DMS模块的第二条支路的KD‑DMFF模块中,得到卷积特征;
将所述注意力特征和所述卷积特征进行通道拼接,并将拼接结果进行通道混洗操作,得到第一多尺度的空间特征;
将所述第一多尺度的空间特征输入到第二个DMS模块中,并将得到的第二多尺度的空间特征输入到第三个DMS模块中,得到多尺度的空间特征。
3.根据权利要求2所述的方法,其特征在于,将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K‑DMFF模块中,得到第一卷积特征,包括:将第二组切分局部信息特征输入到第一个DMS模块的第二条支路的第一个K‑DMFF模块中,在通道域上进行通道切分,得到两组通道数相同的特征图;
将第一组特征图输入到第一个DMS模块的第二条支路的第一个K‑DMFF模块的第一特征提取支路中,通过1层点卷积层,1层卷积核大小为3×3、步长为1、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取,得到第一组局部卷积特征;
将第二组特征图输入到第一个DMS模块的第二条支路的第一个K‑DMFF模块的第一特征提取支路中,通过1层点卷积层,1层卷积核大小为3×3、步长为1的深度卷积层和1层点卷积层进行特征提取,得到第二组局部卷积特征;
将所述第一组局部卷积特征和所述第二组局部卷积特征进行通道拼接,并将拼接结果进行通道混洗操作,得到第一卷积特征。
4.根据权利要求2所述的方法,其特征在于,将所述第二卷积特征与所述第一融合特征相加,并将得到的融合特征输入到第一个DMS模块的第二条支路的KD‑DMFF模块中,得到卷积特征,包括:
将所述第二卷积特征与所述第一融合特征相加,得到第二融合特征;
将所述第二融合特征输入到第一个DMS模块的第二条支路的KD‑DMFF模块中,在通道域上进行通道切分,得到通道数相同的两组切分融合特征;
将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD‑DMFF模块的第一条特征提取支路中,通过1层点卷积层,1层卷积核大小为3×3、步长为2、空洞率为2的空洞深度卷积层和1层点卷积层进行特征提取,得到第一组融合卷积特征;
将第二组切分融合特征输入到第一个DMS模块的第二条支路的KD‑DMFF模块的第二条特征提取支路中,通过1层点卷积层,1层卷积核大小为3×3、步长为2的深度卷积层和1层点卷积层进行特征提取,得到第二组融合卷积特征;
将所述第一组融合卷积特征和所述第二组融合卷积特征进行通道拼接,并将拼接结果进行通道混洗操作,得到卷积特征。
5.根据权利要求1所述的方法,其特征在于,所述分类网络包括:两层全连接层;
将所述多尺度的空间特征输入到所述分类网络中,得到样本分类预测结果,并根据所述样本分类预测结果和所述训练样本的标注进行反向训练,得到训练好的胸部CT图像识别网络,包括:
将所述多尺度的空间特征输入到所述分类网络中通过两层全连接层中,整合类间区分特征,得到全连接特征;
根据所述全连接特征,采用分类器,得到样本分类预测结果;
根据所述样本分类预测结果和所述训练样本的标注进行反向训练,得到训练好的胸部CT图像识别网络。
6.一种胸部CT图像识别装置,其特征在于,所述装置包括:训练样本获取模块,用于获取胸部CT图像,并对所述胸部CT图像进行标注,得到训练样本;
胸部CT图像识别网络构建模块,用于构建胸部CT图像识别网络;所述胸部CT图像识别网络包括输入网络、特征提取网络以及分类网络;所述输入网络用于通过空洞卷积方式提取所述训练样本的空洞卷积特征;所述特征提取网络包括X‑DMFF模块、DMS模块以及自适应池化层;所述特征提取网络用于采用X‑DMFF模块提取空洞卷积特征中包含精准坐标信息、纹理信息的局部特征,并将局部特征经过DMS模块得到多尺度的空间特征;所述X‑DMFF模块是通道数可调的卷积模块,用于将输入的特征切分为通道相同的两路并对切分结果进行卷积,将得到的卷积结果进行通道拼接和通道混洗,得到局部信息特征;所述DMS模块包括两条分别以自注意力模块、卷积模块为主干的支路,用于将输入的特征切分为通道相同的两路,并将两路特征分别输入到两条支路中进行特征提取后进行通道拼接和通道混洗操作,得到多尺度的空间特征;所述分类网络用于根据所述多尺度的空间特征对训练样本进行分类,得到样本预测分类结果;
胸部CT图像识别网络训练模块,用于根据所述训练样本的标注和将所述训练样本输入到所述胸部CT图像识别网络得到的样本预测分类结果,对所述胸部CT图像识别网络进行训练,得到训练好的胸部CT图像识别网络;
胸部CT图像的类别确定模块,用于获取待测胸部CT图像,并将所述待测胸部CT图像输入到训练好的胸部CT图像识别网络中,得到胸部CT图像的类别;
所述输入网络包括1层空洞卷积层;所述特征提取网络由2个X‑DMFF模块、3个连续的DMS模块、1层自适应池化层组成;3个连续的DMS模块连接关系是前一个DMS模块的输出作为下一个DMS模块的输入;
其中,胸部CT图像识别网络训练模块,还用于将所述训练样本输入到所述输入网络的空洞卷积层中,得到空洞卷积特征;将所述空洞卷积特征输入到所述特征提取网络的第一个X‑DMFF模块中,得到第一局部信息特征;将所述第一局部信息特征输入到所述特征提取网络的第二个X‑DMFF模块中,得到局部信息特征;将所述局部信息特征输入到3个连续的DMS模块中,得到多尺度的空间特征;将所述多尺度的空间特征输入到所述分类网络中,得到样本分类预测结果,并根据所述样本分类预测结果和所述训练样本的标注进行反向训练,得到训练好的胸部CT图像识别网络;
所述X‑DMFF模块包括:两条支路,第一条支路由1层点卷积层、1层深度空洞卷积层和1层点卷积层组成;第二条支路由1层点卷积层、1层深度卷积层和1层点卷积层组成;两条支路中的卷积层的通道数可调;所述点卷积层包括卷积核个数为c/2+x、步长为1的点卷积;深度空洞卷积层包括卷积核个数为c/2+x、卷积核为3×3、步长为1、空洞率为2的空洞深度卷积;深度卷积层包括卷积核个数为c/2+x、卷积核为3×3、步长为1的深度卷积;其中c为特征通道数,x为可调整的通道数,x为大于1的整数;
其中,胸部CT图像识别网络训练模块,还用于将所述空洞卷积特征切分为通道相同的两路特征;将第一路特征输入到第一个X‑DMFF模块的第一条支路中,先后通过点卷积层、空洞深度卷积层以及点卷积层进行特征提取,得到空洞卷积特征;将第二路特征输入到第一个X‑DMFF模块的第二条支路中,先后通过点卷积层、深度卷积层以及点卷积层进行特征提取,得到深度卷积特征;将所述空洞卷积特征和深度卷积特征进行通道拼接,将得到的拼接特征进行通道混洗操作,得到第一局部信息特征。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
8.一种计算机可读存储器,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述方法的步骤。