1.面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法,其特征在于,该方法包括以下步骤:步骤一:获取图像样本数据及标签数据;
步骤二:构建知识蒸馏网络模型;其中,所述知识蒸馏网络模型包括两个学生网络模型,学生网络模型均采用卷积神经网络;
步骤三:构建样本特征提取模块;经过预处理的皮肤肿瘤图像输入卷积神经网络中,学生卷积神经网络输出最后一层的特征和logits;
步骤四:构建增强的特征;对每个学生网络的最后一层特征进行增强;
步骤五:构建在线类间样本特征关系蒸馏,其构建方法为:
S51:对于输入到学生网络
S52:使用L2范数来计算类间样本特征关系,假设选取的不同类样本为x其中,
S53:使用KL散度计算不同学生网络特征关系的相似性,将这种特征关系知识转移到不同的网络,使学生网络之间能够相互学习类间样本特征关系知识,所有学生网络的总关系蒸馏损失其中,i, j表示网络的索引,
步骤六:构建自适应蒸馏;,其构建方法为:
S61:首先,计算每个学生网络和其他所有的学生网络相互蒸馏的损失之和的权重;根据真实标签与每个学生网络的预测输出之间的交叉熵损失,使用softmax函数为学生网络之间logits相互蒸馏的每个学生网络的蒸馏损失分配权值,设在线蒸馏的学生网络总数为m,那么第i个学生网络的权重其中,
S62:计算每个学生网络和其他所有的学生网络使用KL散度相互蒸馏的损失之和;其中,第i个学生网络和其他所有的学生网络使用KL散度相互蒸馏的损失之和其中,
S63:将上述第一步计算出的权值作为学生网络之间相互蒸馏学习的超参数,自适应地获得logits相互蒸馏损失;所有学生网络相互蒸馏的学习损失其中,
步骤七:构建总损失函数;总损失包括所有学生网络模型的预测结果与真实标签数据之间的交叉熵损失、在线类间样本特征关系蒸馏损失和自适应蒸馏损失;
步骤八:训练学生网络模型;即使用步骤七计算得到的总损失函数训练学生网络模型,并反向传播,更新学生网络模型的参数,得到训练的学生网络模型;
步骤九:皮肤肿瘤图像实时分类;获取实时的皮肤肿瘤图像,并将皮肤肿瘤图像输入学生网络模型,学生网络模型输出分类结果。
2.根据权利要求1所述的面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法,其特征在于:所述步骤一过程中,对获取的皮肤肿瘤图像样本数据进行预处理,预处理包括裁剪,缩放和旋转。
3.根据权利要求2所述的面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法,其特征在于:所述步骤三过程中,经过预处理的皮肤肿瘤图像输入卷积神经网络中,学生卷积神经网络输出最后一层的特征和logits。
4.根据权利要求3所述的面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法,其特征在于:所述步骤四过程中,具体构建过程如下:S1:从全局的角度聚合每个通道的全局上下文信息;
设f是在学生网络最后一层获得的特征,
其中,c表示当前通道,H、W分别表示高度和宽度,
S2:在聚合每个通道的全局上下文信息之后,对每个通道进行归一化操作,规范化减少了计算和内存消耗,使训练过程的模型更稳定;第c个通道的归一化其中c表示当前通道,
S3:将归一化信息与全局上下文信息相结合并融合到初始特征来实现最终的特征增强,这里使用的是激活函数tanh函数将归一化信息与全局上下文信息相结合,最终增强的特征为其中,
5.根据权利要求4所述的面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法,其特征在于:所述步骤七中,构建总损失函数的方法为:总体损失函数包括交叉熵损失函数、在线类间样本特征关系蒸馏损失函数和自适应蒸馏损失函数;在线蒸馏训练的总体损失函数为:其中,其中,
6.根据权利要求5所述的面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法,其特征在于:所述步骤八过程中,更新学生网络模型的参数时,具体方法为:使用步骤七的总损失函数训练学生网络模型,反向传播计算梯度,并更新网络参数,参数为:其中,
7.根据权利要求1-6任一项所述的面向皮肤肿瘤图像分类的特征增强协作关系知识蒸馏方法的知识蒸馏系统,其特征在于:该系统包括:皮肤肿瘤图像样本数据获取模块,用于获取皮肤肿瘤图像样本数据及标签数据;
知识蒸馏网络模型构建模块,用于构建知识蒸馏网络模型,知识蒸馏网络模型包括两个学生网络模型,学生网络模型均采用卷积神经网络;
样本特征提取模块,经过预处理的皮肤肿瘤图像输入卷积神经网络中,学生卷积神经网络输出最后一层的特征和logits;
特征增强构建模块,将样本输入到学生卷积神经网络,对每个学生网络最后一层的特征进行特征增强,通过从全局的角度聚合每个通道的全局上下文信息、使用规一化来对通道进行规范化、将归一化信息与全局上下文信息相结合并融合到初始特征这三个步骤来实现特征的增强,从而丰富特征;
在线类间样本特征关系蒸馏构建模块,从每个学生网络最后一层增强的特征中随机选取不同类的样本,使用L2范数计算每个学生网络内部不同类样本之间的特征关系,再通过KL散度计算所有学生网络特征关系的相似性使得学生网络之间进行类间样本特征关系的相互蒸馏;
自适应蒸馏构建模块,根据真实标签与学生网络的预测输出的交叉熵损失,在经典的在线蒸馏学生网络logits相互蒸馏的基础上,使用softmax函数为学生网络logits相互蒸馏中的每个学生网络的蒸馏损失分配权值;将softmax函数计算出的权值作为每个学生网络其他所有的学生网络相互蒸馏的损失之和的超参数,学生网络之间相互学习预测概率知识,自适应地获得蒸馏损失;
总损失函数构建模块,用于构建总损失函数,总损失函数包括所有学生网络模型的预测结果与标签数据之间的交叉熵损失函数、在线类间样本特征关系蒸馏损失函数和软化logits的自适应蒸馏损失函数;
学生网络模型训练模块,用于使用总损失函数训练学生网络模型,并反向传播,更新学生网络模型的参数,得到训练的学生网络模型;
皮肤肿瘤图像实时分类模块,用于获取实时的皮肤肿瘤图像,并将皮肤肿瘤图像输入学生网络模型,学生网络模型输出分类结果。