1.一种基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,包括以下步骤:S1:选择教师模型和学生模型,分别对连续图像进行分割;
S2:提取出教师模型和学生模型的中间特征值作为低层次知识,设计改良的中间特征蒸馏;
其中中间特征蒸馏具体包括以下步骤:
S21:将教师模型和学生模型在第i个卷积层提取的特征标记为和S22:保留通道中全部的正值传递给学生网络,对于每个通道中的负值,首先计算它们的平均值a,再将通道内所有小于均值的神经元赋值为a;
S23:选择在之后增加1×1的卷积层,保证转换后的特征维度和教师模型的特征维度相同;
S24:定义Ti与Si为教师模型和学生模型在第i个特征层转换后的结果,中间特征蒸馏损失定义式为所示,其中K为中间特征层的层数;
S3:将多尺度融合特征图作为中层次知识,以此为基础设计空间结构知识蒸馏;
S4:对于连续图像,将模型预测值作为高层次知识,以此编码相邻帧间的依赖关系,设计帧间依赖性蒸馏项;
S5:为避免像素点在前后帧运动过程中引起语义标签变化,设计语义一致性损失以保证像素点语义标签的不变性;
S6:结合传统知识蒸馏方法和上述步骤中提出的损失项,训练学生模型;
所述S5中设计语义一致性损失以保证像素点语义标签的不变性具体包括以下步骤:S51:将教师模型的分割结果作为“伪标签”,对于一个长度为L的图像序列,学生模型在第t帧和第t+1帧图像中某个像素位置(i,j)上的预测结果定义为对应的教师模型结果为S52:对目标像素点划分范围,在教师模型分割结果中,满足前后帧语义标签一致的像素点个数可以定义如下:若学生模型在前后帧像素点上的预测结果和教师模型对应的标签都不相同,则用传统的知识蒸馏方法修正,否则就用语义一致性损失修正;
其中满足语义标签不一致的像素点个数可表示为:
最终的语义一致性损失函数定义如下:
2.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,所述S3中空间结构知识蒸馏具体包括以下步骤:S31:将图像的结构知识编码成亲和力图,通过对齐教师模型和学生模型各自生成的亲和力图,实现结构知识的蒸馏;
S32:其中教师模型和学生模型最终的特征图分别设置为FT、FS,维度为W×H×C,经核大小为16的平均池化操作后,特征图表示成F'T和F'S,此时维度变为W'×H'×C;
S33:利用余弦相似性表示两两像素点之间的关系,通过计算所有像素点之间的相似关系来表征图像的空间结构知识,以F'T为例,对于F'T特征图中第i个和第j个位置的像素点fi、fj,二者的余弦相似性表示为:其中mij代表亲和力图M中的一个像素点,M的维度为N×N×1,N=W'×H',教师模型和学生模型各自计算出的亲和力图分别表示为Mt、Ms,对应亲和力图中的像素点表示为空间结构知识蒸馏损失定义如下:
3.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,所述S4中设计帧间依赖性蒸馏项中前后帧图像It、It+1,两者在教师模型和学生模型中的输出结果分别记为Tt、Tt+1、St、St+1,帧间的依赖关系蒸馏损失表示如下:
4.根据权利要求3所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,公式中sim()用于计算前后帧的相似性,M表示序列中图像的个数。
5.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,公式中φ函数表示为:
6.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,公式中δ函数表示为:
7.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,所述S6中定义总体损失函数公式为;
Lall=Lce+α(Lpro+Lstr+Ldep+Lsc+βLdis);
整个损失函数中,与真实值的交叉熵损失为主要损失,其余均为辅助损失,对于所有的辅助损失需配以权重系数α考虑到中间特征蒸馏损失计算的误差值较多,为了避免梯度下降过程中过度修正该项损失,需在特征蒸馏损失前加以权重系数β,实验中α、β分别设为0.1和10-5;
其中Lce和Lpro是传统知识蒸馏方法中的交叉熵损失和标签预测概率值蒸馏损失。
8.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,所述S6中将训练好的复杂模型作为教师网络,将ImageNet预训练模型作为学生模型的初始权重,且训练过程中,不断更新学生模型的参数和中间特征蒸馏中1×1卷积层的参数,在模型推理过程中,仅使用到学生模型的参数。
9.根据权利要求1所述的基于多层次知识蒸馏的连续图像语义分割方法,其特征在于,所述S1中教师模型和学生模型均基于PSPNet网络架构,选择ResNet101作为教师模型的主干网络,选择ResNet18作为学生模型的主干网络。