1.一种基于知识蒸馏和自监督学习的近视性黄斑病变分类方法,其特征在于:包括,自监督学习阶段和近视性黄斑病变分类阶段;
所述自监督学习阶段,用于将输入图像划分为不重叠的patch块,通过构建教师模型和学生模型,进行特征提取,并通过可见patch块预测完整图像;
所述近视性黄斑病变分类阶段,用于采用交叉熵损失函数和中心损失函数对分类网络进行微调训练,获取分类器网络,将待预测的完整图像送入训练完成的分类器网络,获取病变分类结果的输出;
所述自监督学习阶段包括图像掩码模块、知识蒸馏与特征编码模块和图像重建模块;所述图像掩码模块中的编码器模块采用视觉转换器ViT作为骨干网络,将输入图像转为序列作为ViT的输入,将输入图像划分为规则不重叠的N=H×W/p2个patch块,其中p2为patch块的像素数量,H×W为输入图像的分辨率,C为通道数,将patch块利用线性投影层映射为D维的嵌入向量,在嵌入向量的基础上,添加一个可学习的嵌入向量,聚合来自整个序列的信息,同时,在patch嵌入序列中加入可学习的位置嵌入,得到ViT输入序列,表示为:,
对patch序列进行随机采样,并掩码剩余的patch块,即根据得到的patch序列, 构造一个随机掩码,设表示对应的patch块被掩码, K表示未被掩码的 patch 块数量,则最终编码器的输入序列为;
所述ViT输入序列通过自注意力机制对远程信息进行建模,对于给定L层的ViT,仅将输入序列中的部分可见patch块,即送入编码器,并映射到潜在特征,表示为:;
;
其中,表示ViT的层,LN(·)表示层归一化操作,在多头自注意力MSA层中,每个patch嵌入向量计算自注意力映射,通过聚合其他patch嵌入向量来更新自身,特征编码器的输出包括全局特征表示和patch级别特征表示。
2.如权利要求1所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法,其特征在于:所述知识蒸馏与特征编码模块使用教师-学生模型,分别初始化教师模型和学生模型,教师模型采用ImageNet预训练的ViT模型进行初始化,学生模型进行随机初始化;
从学生模型的中间三层提取特征,将特征输入到一个小的投影层中,要求输出模拟来自教师模型相应层的特征,投影层通过全连接层实现;
设定提取的学生模型和教师模型的第l层特征分别为,其中为patch总数,C为通道数;取教师模型和学生模型的中间三层作为进行知识蒸馏的层数,使用FC()表示投影网络函数,通过全连接层将学生模型的特征输出维度与教师模型的维度相对齐,蒸馏损失函数表示为:;
其中,S和T分别代表学生模型和教师模型,表示总像素数,i表示像素索引,表示曼哈顿距离。
3.如权利要求2所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法,其特征在于:所述图像重建模块用于增强模型重建高频细节的能力,是利用高斯滤波器进行图像平滑,得到图像的低频成分,假设输入图像为,其中表示图像中的像素坐标,高斯滤波器核表示为:,
其中, 是高斯分布的标准差,用于控制滤波器的平滑程度;
利用高斯滤波器提取图像低频成分步骤包括:指定高斯核半径r和标准差,由此生成相应大小的高斯滤波器核;将高斯滤波器核与输入图像进行卷积操作,得到图像的低频成分;用原始图像减去图像的低频成分,得到图像的高频成分,表示为:;
;
将输入图像的像素值以向量形式表示,即假设输入像素值为,则图像的高频重建目标为,计算模型的重建损失,表示为:;
其中,表示预测像素值, M代表掩码像素的集合,为总像素数,i为掩码像素索引;
自监督学习阶段中使用的最终损失函数表示为:
;
其中,为重建损失函数,为特征对齐的蒸馏损失函数。
4.如权利要求3所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法,其特征在于:通过所述自监督学习阶段的训练,取出其中学生模型的编码器部分进行微调;
损失函数为包含交叉熵损失和中心损失函数的联合损失函数,表示为:;
其中,为交叉熵损失函数,为中心损失函数,为超参数;
在分类网络的最后一层,全连接层输出一个长度为类别数P的向量,Q为输出向量的总数,采用交叉熵损失函数指导网络的训练,即最小化预测结果与标签之间的交叉熵损失函数:;
其中,是样本i的真实标签为类别j的指示函数,即当样本的真实类别为j时,否则;是模型预测样本i为类别j的概率。
5.如权利要求4所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法,其特征在于:引入中心损失函数增强模型的特征判别能力和泛化能力,所述中心损失函数通过最小化样本特征与其所属类别中心之间的距离,使得同一类别的样本特征在特征空间中更加紧凑,中心损失函数表示为:;
其中,代表欧氏距离,为样本输入模型后得到的特征表示,是样本所属类别的类别中心;
综合利用交叉熵损失和中心损失函数的优势,引入联合损失函数,表示为:;
其中,是样本i的真实标签为类别j的指示函数,是模型预测样本i为类别j的概率,表示预测像素值,为输入像素值,为超参数。
6.一种基于知识蒸馏和自监督学习的近视性黄斑病变分类系统,基于权利要求1~5任一所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法,其特征在于:包括,图像掩码模块,用于将输入图像划分为不重叠的patch块,采用n%的掩蔽比保留其中一个随机的小子集作为可见块供编码器使用,其余的patch块则作为解码器的预测目标;
知识蒸馏与特征编码模块,用于初始化教师模型和学生模型,将可见patch块分别输入教师模型和学生模型的编码器中进行特征提取,分别得到属于教师模型和学生模型的深层语义特征,最小化教师模型和学生模型中间层特征映射的距离;
图像重建模块,用于通过可见patch块预测完整图像,利用基于高斯核的高斯滤波器提取输入图像的低频分量,使用原始图像与其低频分量进行相减得到输入图像的高频分量,作为模型的重建目标,将学生模型的深层语义特征和模型的重建目标作为输入,计算二者的平均绝对误差损失,与蒸馏损失一同优化,指导模型进行训练;
近视性黄斑病变分类阶段,包括在自监督学习阶段训练完毕后,取出学生模型的编码器作为近视性黄斑病变分类任务的编码器,采用交叉熵损失函数和中心损失函数对分类网络进行微调训练,得到分类器网络;将眼底彩照图像送入训练好的分类器网络,得到病变分类结果的输出。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1~5任一所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1~5任一所述的基于知识蒸馏和自监督学习的近视性黄斑病变分类方法的步骤。