1.基于多教师知识蒸馏和归一化注意力的岩石类别预测方法,其特征在于,包括如下步骤:S1:采集多个岩石样品图像,创造岩石数据集,并对原始岩石样品图像数据进行预处理;
S2:将在原有的网络结构基础上插入基于归一化的注意力模块,构建轻量级神经网络;具体包括如下步骤:S21:在MobileNetV3的基础上重新设计注意力机制子模型,使用批量归一化中的缩放因子γ,如下公式所示:式中,μB和分别是小批量样本的均值和方差,γ和β是可训练的放射变换参数,Bin是输入样本,Bout是输出样本,∈为一个较小值,防止除0操作;
S22:通过下式求得每个通道的权重:
式中,wi为第i个通道的权重,γi和γj分别为第i个和第j个通道的缩放因子;
S23:根据所得的权重,与原特征图进行加权求和,再通过一个非线性激活即得到输出:Mout=sigmoid(Wγ(BN(Min)))
式中,Min为输入特征图,Mout为输出特征图,Wγ为通过wi对归一化处理后的特征图进行加权求和,sigmoid(·)为非线性激活函数;
S3:采用多教师知识蒸馏方法,即采用以Swin-Transformer为代表的自注意力模块和以ResNet为代表的卷积模型,训练出轻量级学生模型;具体训练步骤包括:S31:向采用ImageNet预训练后的两个教师模型导入自建的岩石切片数据集中的图像数据,并将其所得概率分布依次与温度参数相除达到软化的目的,通过真实标签量化每个教师模型的置信度,通过不同的权重可以自适应地加权预测,通过softmax处理后得到软标签;
S32:向学生模型MobileNetV3-NAM中导入自建的岩石切片数据集中的图像数据进行并行计算,对其采用与教师模型同样的计算流程获取软预测,并同时通过不设置温度参数直接输入softmax获取硬预测;
S33:采用不同的权重参数依次对所得的多教师模型的软标签和软预测、硬标签和硬预测获得总混合损失值;
S34:利用Adam优化器和混合损失函数对学生模型MobileNetV3-NAM进行训练,借助梯度反向传播实现学生模型参数的更新;
S35:重复进行上述步骤,直至MobileNetV3-NAM模型的混合函数及分级准确率变化曲线趋于稳定,结束模型的训练;
S4:将待处理的岩石图像加载到模型中,记录分类结果和各项性能指标。
2.根据权利要求1所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法,其特征在于,所述步骤S1中,预处理包括如下步骤:S11:对岩石样品图像进行分类,并分别放到对应的文件夹中;
S12:创建两个文本文件,一个为训练图片路径及其对应的类别,另一个为测试图片路径及其对应的类别,其中训练集占数据集的80%,验证集占数据集的20%;
步骤S13:在jupterlab上使用Pytorch重写dataset类:将图片裁剪为224*224大小,先取出一个批量的图片数据,计算该批量数据的均值和方差,根据均值和方差对图片进行归一化处理,以一定概率对训练图像数据增强操作;对测试图像仅做归一化处理;再通过DataLoader函数分批次载入数据,并显示部分图像数据,观察图像是否能够正常显示。
3.根据权利要求2所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法,其特征在于,所述训练图像数据增强操作包括对训练图像进行翻转、平移、旋转和添加随机噪声。
4.根据权利要求3所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法,其特征在于,所述软标签的获取过程为:式中,表示第K个教师模型的预测,T表示蒸馏温度;
软预测的获取过程为:
硬预测的获取过程为:
式中,表示第K个学生模型的预测,T表示蒸馏温度;
获取加权后的软标签如下:
获取软预测与软标签的KL散度如下:
获取硬预测与硬标签的交叉熵损失函数如下:
LS=CrossEntropyLoss(yc,QSH)获取多教师模型的软标签和软预测、硬标签和硬预测获得总混合损失值:Lmix=α·LS+(1-α)·T2·LT
式中,α表示硬标签和硬预测的权重,T表示蒸馏温度,QTS,k表示第K个教师模型的软预测,wk表示第K个教师模型的权重。
5.根据权利要求4所述的基于多教师知识蒸馏和归一化注意力的岩石类别预测方法,其特征在于,所述步骤S31中,通过真实标签量化每个教师模型的置信度,包括如下步骤:计算教师模型预测和真实标签之间的交叉熵来分配不同的权重,以反映不同教师模型的权重;
式中,QTS,k表示第K个教师模型的软预测,y表示真实标签,Lk表示第K个教师模型的预测与真实标签的差异,wk表示第K个教师模型的权重,Lk越小,wk越大。