1.一种基于深度迁移学习的肺炎X胸片分类识别方法,其特征在于,具体步骤包括:
S1:获取数据集,其中包含源域肺部Chest X‑Ray8胸片数据集和目标域COVID X‑Ray肺炎X胸片数据集;
S2:将目标域数据集分为训练集、测试集和验证集,并且对目标域数据集所有X胸片进行预处操作;
S3:构建深度迁移学习模型,首先使用VGG16网络模型对源域Chest X‑Ray8胸片数据集进行训练得到网络基权重,其次将基权重加载到改进后的VGG16后再使用采用深度渐进微调策略对目标域数据集进行再次训练,得到第一分类模型DPFT‑VGG16;最后为得到更好实验结果在第一分类模型的基础之上融合向量胶囊网络CapsNet,得到第二分类模型DPFT‑VGGCapsNet;
第一分类模型通过如下训练过程所得到:
第一分类模型为改进后的VGG16模型,其中主要的改进部分为BN层和特征融合层的增加,在网络模型的低层卷积后加入BN层可以对模型中每个mini‑batch的数据进行归一化使得均值为0方差为1,有效改善训练过程中出现梯度消失或者梯度爆炸等问题;特征融合层的加入,使得模型训练过程中每经过一次反向传播后都对特征融合层中的参数进行调整同时进行一次特征融合;因此整个第一分类模型DPFT‑VGG16最终由13个卷积层,2个BN层,5个最大池化层和由2个全连接层和1个Dropout层的特征融合层组成;其中卷积层中全部采用
3*3的小尺寸卷积核,填充方式为全零填充的Zero‑padding且步长为1;池化过程使用2*2的池化核,且步长为2;
训练过程为,将采用源域数据集Chest X‑Ray8训练所得到的基权重加载到第一分类模型中,并采用目标域数据集COVID X‑Ray对第一分类模型进行训练,其中具体迁移过程的公式如下:其中xi,xj分别表示第i,j个样本,yi,yj表示相对应的标签,Xs,Xt分别表示Ds,Dt的特征空间,Ys,Yt分别表示Ds,Dt的标签空间;
将基权重加载到第一分类模型DPFT‑VGG16后,冻结整个网络的前16层网络参数,深度渐进微调最后3个卷积层;在训练模型的过程中,采用ReLu作为模型的激活函数,优化器选择Adam梯度下降算法,同时在整个训练过程中采用学习率逐渐递减的方式动态调整学习率,模型训练前将初始学习率设置为0.001,在每训练5个epoch后如果评价指标不再提升时则将学习率减小到原来的一半,最后经由特征融合层后在softmax分类器的作用下得到类别结果,其中特征融合层中参数更新公式如下:其中:α为学习率; 为第l‑1层的第j个神经元连接到l层第i个神经元的权重; 为第l层第i个神经元的偏置值;
S4:构建特征融合层,将数据集输入到模型中进行训练,采用动态改变学习率大小的训练方法,经由特征融合层后在分类器的作用下得到不同的分类结果;
S5:将未标记的训练集和验证集X胸片输入到S3和S4中所搭建的深度迁移第一分类模型和第二分类模型进行验证和测试,采用多种评价指标对测试集不同类别的X胸片结果进行分类评价。
2.根据权利要求1所述的基于深度迁移学习的肺炎X胸片分类识别方法,其特征在于,对获取到的目标域数据集COVID X‑Ray进行预处理过程包括:对所有目标域数据集COVID X‑Ray中所有X胸片打上标签,其中新冠肺炎COVID19胸片为0,正常胸片为1,普通肺炎胸片为2;
由于COVID19胸片数量相对较少,为保持各类别胸片数据量相对平衡,对COVID19胸片进行扩增,其中主要包括小幅度旋转和镜像两种方式;
对扩增后的目标域数据集采用数字图像处理的方式进行中值滤波去噪,提升目标域数据集中X胸片的质量,其中中值去噪的表达式为:g(x,y)=med{f(x‑k,y‑l),(k,l∈W)} (4)其中g(x,y),f(x,y)分别为滤波后和滤波前的像素值,W为滤波器窗口,通常可取3*3或者5*5大小的区域;
对中值滤波后的目标域数据集采用伽马变换的方式进行灰度变换,统一X胸片的灰度,其中变换表达式为:
其中A为灰度缩放系数,用于拉伸图像灰度通常取值为1,Vin为输入灰度级,Vout为输出灰度级,γ为灰度变换系数,当γ>1时,对图像灰度直方图具有拉伸效果,使得灰度向高灰度值延伸;当γ<1时,对图像灰度直方图具有收缩作用,使得图像灰度向低灰度值方向靠拢;对预处理过后的X胸片采用数字图像处理技术统一为224*224的尺寸,并且进行归一化操作;
将预处理完的目标域数据集分为训练集、测试集和验证集,按照3:1的比例选取测试集和验证集,其中测试集为每个类别300张,总计900张;验证集为每个类别100张,总计300张,其余全部作为训练集。
3.根据权利要求1所述的基于深度迁移学习的肺炎X胸片分类识别方法,其特征在于,第二分类模型通过如下训练过程得到:对第一分类模型进行改进,在其尾部融合由向量神经元所构成的胶囊网络CapsNet寻找不同肺炎特征的关系来进一步提高分类结果;将第一分类模型中改进后的VGG16作为整个网络的特征提取器,将所提取到的肺部X胸片特征经过CapsNet的训练以及其中动态路由算法的编码后进行训练;
具体训练过程为,同样将经过源域数据集训练所得基权重加载到第二分类模型中,冻结网络的前16层参数,深度渐进微调最后3个卷积层;在训练模型的过程中,采用ReLu作为模型的激活函数,优化器选择Adam梯度下降算法,同时在整个训练过程中采用学习率逐渐递减的方式动态调整学习率,模型训练前将初始学习率设置为0.001,在每训练5个epoch后如果评价指标不再提升时则将学习率减小到原来的一半,最后经由特征融合层后在softmax分类器的作用下得到类别结果。
4.根据权利要求1所述的基于深度迁移学习的肺炎X胸片分类识别方法,其特征在于:
对训练好的分类模型采用验证集和测试集分别进行验证和测试,采用多种不同评价指标对实验结果进行多次评估后获得最优深度迁移的肺炎分类识别模型。