1.一种医学图像分类方法,其特征在于,包括:
获取样本数据,采集皮肤病图像数据作为输入,并对皮肤病图像样本数据进行处理,得到图像样本数据集;
构建知识蒸馏网络模型,知识蒸馏网络模型包括教师网络模型和学生网络模型,教师网络模型和学生网络模型均包括骨干网络和分类器;
训练知识蒸馏网络模型,在训练知识蒸馏网络模型时,包括教师网络模型预训练和学生网络模型训练,其中教师网络模型预训练包括两个阶段:在第一阶段,完成带有 个阶段的教师模型的训练,最后获得训练好的骨干网络 ;在第二阶段冻住骨干网络 的权重,对辅助分类器 进行参数更新;训练学生网络模型时,将带有 个stages的皮肤病分类学生模型的骨干网络表示为 ,其中所包含的辅助分类器表示为 ,其 代表学生模型第 个stage的辅助分类器,学生网络模型在预训练好的皮肤病分类教师模型监督下进行学习,计算总体损失 ;
将网络模型的输出结果进行汇总,输出皮肤病图像分类结果。
2.根据权利要求1所述的医学图像分类方法,其特征在于,在构建知识蒸馏网络模型时具体包括:假设教师和学生模型均包含 个stages,将模型骨干网络中所包含的所有stages视作一个有序的学习过程,为每个stage构造一个基分类器,为了估计每个基分类器的预测,我们为每个stage添加中间辅助分类器,共有 个辅助分类器,其中,采用 来表示第 个stage的辅助分类器, 由卷积层、全局平均池化层以及全连接层组成。
3.根据权利要求1所述的医学图像分类方法,其特征在于,教师网络模型预训练时,自适应提升算法以顺序方式学习不同的基分类器,第 个基分类器的输入皮肤病样本权重表示为 ,其中 表示输入batch的样本数量,根据自适应提升算法提升理论,在蒸馏过程中通过 来施加样本级权重,该权重能够有效表征学生在该阶段对哪些皮肤病样本存在学习困难,然后根据基分类器的误差率来计算该基分类器的权重 ,最后根据各个基分类器的权重 进行线性加权获得最后的基于自适应提升算法的蒸馏损失。
4.根据权利要求1所述的医学图像分类方法,其特征在于,总体损失 包括学生网络模型中的真实标签监督的任务损失 、真实标签监督的Adaboost损失 以及学生与教师之间的样本级权重加权蒸馏损失 ,公式如下:,
其中: 和 为平衡因子。
5.根据权利要求4所述的医学图像分类方法,其特征在于,学生模型中以真实标签监督的交叉熵损失作为任务损失,目标是使得 能够拟合one‑hot标签数据,将最后的输出与真实标签计算交叉熵以获得任务损失 。
6.根据权利要求4所述的医学图像分类方法,其特征在于,为了挖掘学生各个阶段的皮肤病分类学习困难,AdaBoost以顺序方式训练学生模型 个辅助分类器的预测 ,第 个基分类器的输入样本权重表示为 ,其中,第 个基分类器的皮肤病输入样本权重 均会由第 个基分类器更新调整,然后根据第 个基分类器的误差率来计算该基分类器的权重 ,最后根据各个基分类器的权重 进行线性加权获得最后的真实标签监督的AdaBoost的蒸馏损失,真实标签监督的Adaboost损失 如下所示,,其中, 代表皮肤病输入样本 的真实标签,代表第 个阶段, 代表输入batch的大小, 代表所有阶段的总数, 代表第 个基分类器的权重, 代表学生网络模型第个阶段的辅助分类器对样本 的预测, , 代表第 个辅助分类器的分类器网络模块,使用 对 进行加权, 代表第 个基分类器皮肤病输入样本 的分类学习困难程度,其值越大代表越困难。
7.根据权利要求6所述的医学图像分类方法,其特征在于,计算样本级权重加权蒸馏损失 时,通过AdaBoost所获得第 个基分类器的皮肤病输入样本权重表示为 ,根据该权重即可建模出学生在第 个基分类器中对皮肤病输入样本 的分类学习困难程度,将样本级权重施加到蒸馏模块,其中基于logits的蒸馏损失包括两种形式:第一种是学生模型和教师模型的最后一层带温度软输出的损失 ,皮肤病输入样本大小以一个batch为例,公式如下所示,,
其中,代表温度, 表示输入batch的大小, 代表在温度 下学生网络模型对样本 的最后一层带温度软输出;
第二种是学生模型和教师模型对应辅助分类器的最后一层带温度软输出的蒸馏损失,公式如下所示,,
其中, 代表在温度 下教师网络模型第 个阶段的辅助分类器对样本 的预测, 代表在温度 下学生网络模型第 个阶段的辅助分类器对样本 的预测;
为了有效挖掘蕴含在教师模型骨干网络中间层特征 中的皮肤病分类表征信息,通过注意力迁移的形式来构造基于中间特征的蒸馏损失 ,公式如下所示,,其中, 代表基于注意力迁移的损失, 代表教师网络模型对样本 的第 个阶段的中间特征, 代表学生网络模型对样本 的第 个阶段的中间特征;
上述两种蒸馏损失只关注个体知识蒸馏,为了挖掘皮肤病图像不同个体之间的关系,设计了基于相关性的蒸馏损失,首先获得教师模型每个辅助分类器中 个皮肤病样本的响应特征,并构建相关性矩阵 ,同样地,为学生模型每个辅助分类器中 个皮肤病样本的logits特征构建相关性矩阵 ,通过计算学生和教师模型的相关性矩阵之间的均方误差(MSE)损失来获得基于相关性的蒸馏损失 ,公式如下所示,,其中, 代表教师网络模型第 个阶段的相关性矩阵, 代表学生网络模型第 个阶段的相关性矩阵;
计算皮肤病样本级权重加权蒸馏损失 ,公式如下:
,
其中,、 、均为平衡因子。
8.一种医学图像分类系统,其特征在于,包括:
数据获取模块,用于获取样本数据,采集皮肤病图像数据作为输入,并对皮肤病图像样本数据进行处理,得到图像样本数据集;
构建模块,用于构建知识蒸馏网络模型,知识蒸馏网络模型包括教师网络模型和学生网络模型,教师网络模型和学生网络模型均包括骨干网络和分类器;
训练模块,用于训练知识蒸馏网络模型,在训练知识蒸馏网络模型时,包括教师网络模型预训练和学生网络模型训练,其中教师网络模型预训练包括两个阶段:在第一阶段,完成带有 个阶段(stages)的教师模型的训练,最后获得训练好的骨干网络 ;在第二阶段冻住骨干网络 的权重,对辅助分类器 进行参数更新;训练学生网络模型时,将带有 个stages的皮肤病分类学生模型的骨干网络表示为 ,其中所包含的辅助分类器表示为 ,其 代表学生模型第 个stage的辅助分类器,学生网络模型在预训练好的皮肤病分类教师模型监督下进行学习,计算总体损失 ;
输出模块,用于将网络模型的输出结果进行汇总,输出皮肤病图像分类结果。
9.一种终端,其特征在于,所述终端包括处理器、与所述处理器耦接的存储器,其中,所述存储器存储有用于实现权利要求1至7任一项所述的医学图像分类方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以控制医学图像分类。
10.一种存储介质,其特征在于,存储有处理器可运行的程序指令,所述程序指令用于执行权利要求1至7任一项所述医学图像分类方法。