1.基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,方法包括以下步骤:获取图片,将图片输入至预先建立的新旧模型的特征提取网络内,输出得到图片的多层特征;将图片的多层特征输入至预先建立的并行自注意力模块内,输出得到初步融合多粒度特征;
所述初步融合多粒度特征的输出过程:
并行自注意力模块由数个并行的分支组成,每个分支都遵循视觉转换器当中的自注意力网络结构;
将模型不同层的中间特征利用双线性插值转换为一样的尺寸;
将经过双线性插值后的不同层特征分别输入并行自注意力模块的不同分支,每个分支对应一层特征;
将并行自注意力模块各个分支的输出在通道维度上进行拼接,形成初步融合多粒度特征;
将初步融合多粒度特征输入至预先建立的基于矩的通道注意力模块内,输出得到平衡性多粒度融合特征;基于知识蒸馏计算平衡性多粒度融合特征的一致性约束,基于平衡性多粒度融合特征的一致性约束计算训练总损失;
基于训练总损失对新模型进行训练,得到训练后的新模型,通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界,其中,所述新模型为任务阶段t模型。
2.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述平衡性多粒度融合特征的输出过程:基于初步融合多粒度特征,在空间维度上计算其矩统计量,包括一阶矩:均值、二阶矩:方差和三阶矩:偏度,对应三个统计量得到三个特征统计向量;
将三个特征统计向量输入多层感知机网络,分别输出三个通道注意力向量;
将三个通道注意力向量相加,并与初步融合多粒度特征相乘,得到平衡性多粒度融合特征。
3.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述训练总损失的计算过程:基于知识蒸馏技术,分别计算新模型和旧模型的平衡性多粒度融合特征间的距离作为训练损失,计算得出平衡性多粒度融合特征一致性约束Lmgkd;
计算标准分类损失Lmbce,以及针对任务阶段t模型最终输出的置信度蒸馏损失Lkd;
计算任务阶段t模型训练的总损失Ltotal:
Ltotal=Lmbce+λ1Lmgkd+λ2Lkd
其中,λ1和λ2为用来平衡各项损失的平衡系数。
4.根据权利要求3所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述平衡性多粒度融合特征一致性约束Lmgkd的计算过程如下:式中,和表示平衡性多粒度融合特征的空间维度尺寸,表示平衡性多粒度融合特征在空间维度上的第j行第k列的值,的下标t表示该平衡性多粒度融合特征由任务阶段t的模型提取;
所述标准分类损失Lmbce为:
其中,c表示类别标签,H和W表示输出掩码的尺寸,pt(i,c)表示任务阶段t模型对图片中像素i对应类别c输出的置信度,log(·)表示取对数,表示指示函数,若其参数为真值则输出1,否则输出0,表示模型输出的分割置信度,i为输出掩码中的像素,y(i)表示像素i的真实标签,H和W分别为输出掩码在空间维度上的尺寸,Ct表示任务阶段t模型学习的新类别集合,|C1:t|表示到任务阶段t模型学习的所有类别数;
所述置信度蒸馏损失Lkd为:
其中,C1:t-1表示模型在学习过的所有旧类别。
5.根据权利要求1所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界的过程如下:基于分类损失变体Lneg为每个类训练辅助分类器:
其中,c表示类别标签,H和W表示输出掩码的尺寸,pt(i,c)表示任务阶段t模型对图片中像素i对应类别c输出的置信度,log(·)表示取对数,表示指示函数,若参数为真值则输出1,否则输出0,表示模型输出的分割置信度,i为输出掩码中的像素,y(i)表示像素i的真实标签;H和W分别为输出掩码在空间维度上的尺寸,Ct表示任务阶段t模型学习的新类别集合,|C1:t|表示到任务阶段t模型学习的所有类别数;
基于每个任务阶段训练完成时的模型计算并存储每个类别的特征原型;
新任务开始时基于新模型计算每个新类的特征原型,并匹配原型与新类相似度最高的旧类,用相似最高的旧类辅助分类器初始化新类分类器。
6.根据权利要求5所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述计算并存储每个类别的特征原型的过程如下:对于每个类别,根据数据集中的标注为每张图片生成二元掩码,其中属于此类别的像素在二元掩码中被标记为1,不属于的像素在二元掩码中被标记为0;
基于每个任务阶段训练完成时的模型,为每个类别的图片提取特征,将提取的特征图与对应图片的二元掩码相乘,经过全局平均池化得到每张图片的类别特定特征嵌入;
计算每个类所有图片的类别特定特征嵌入的均值,得到类别的特征原型,并进行存储。
7.根据权利要求6所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,所述用相似最高的旧类辅助分类器初始化新类分类器的过程如下:每个任务阶段开始时用上个任务训练完成的特征提取器初始化新模型的特征提取器;
对于每个新类别,根据数据集中的标注为每张图片生成一个二元掩码,其中属于该类别的像素在二元掩码中被标记为1,不属于该类的像素在二元掩码中被标记为0;
基于初始化的新模型特征提取器,为每个类别的图片提取特征,将提取的特征图与对应图片的二元掩码相乘,经过全局平均池化得到每张图片的类别特定特征嵌入;
计算每个新类别的所有图片的类别特定特征嵌入的均值,得到该新类别的特征原型,并与存储的所有旧类别的特征原型计算相似度;
对于每个新类,选择与其特征原型相似度最高的旧类,用此旧类的辅助分类器初始化新类分类器。
8.基于平衡多粒度融合特征蒸馏的持续语义分割系统,采用了权利要求1至7中任一项所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法,其特征在于,包括:特征处理模块,用于获取图片,将图片输入至预先建立的新旧模型的特征提取网络内,输出得到图片的多层特征;将图片的多层特征输入至预先建立的并行自注意力模块内,输出得到初步融合多粒度特征;
损失计算模块,用于将初步融合多粒度特征输入至预先建立的基于矩的通道注意力模块内,输出得到平衡性多粒度融合特征;基于知识蒸馏计算平衡性多粒度融合特征的一致性约束,基于平衡性多粒度融合特征的一致性约束计算训练总损失;
模型训练模块,用于基于训练总损失对新模型进行训练,得到训练后的新模型,通过训练后的新模型基于辅助分类器为新任务提供最优初始化决策边界,其中,所述新模型为任务阶段t模型。
9.一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了权利要求1至7中任一项所述的基于平衡多粒度融合特征蒸馏的持续语义分割方法。