1.基于空间视觉和统计关系蒸馏的持续语义分割方法,其特征在于,包括以下步骤:基于新旧模型的特征提取网络提取图片的多层特征,并划分为多尺度特征子区域;
基于划分的特征子区域,建模特征图的空间视觉相似性关系以及空间统计相似性关系;
基于知识蒸馏构建新旧模型特征图的空间视觉、统计相似性关系的一致性约束,计算模型总损失并通过梯度下降算法更新模型参数,使模型学习新数据集中的新类别,同时保持对旧类别的分割能力;
划分所述多尺度特征子区域的步骤包括:
S11,将训练图片输入新模型和旧模型的特征提取网络,由浅到深地从特征提取网络的各层选取图片的部分中间特征;
S12,根据所选取的中间特征图在特征提取网络中的深度决定其划分块数,将中间特征图划分为一系列包含不同粒度信息以及多尺度空间信息的特征子区域;
计算模型总损失的步骤包括:
S31,基于知识蒸馏技术,分别计算新旧模型的对应相似性矩阵间的距离作为训练损失,构建空间视觉相似性关系和空间统计相似性关系的一致性约束S32,计算标准分类损失
S33,计算模型训练的总损失
其中,
2.根据权利要求1所述的基于空间视觉和统计关系蒸馏的持续语义分割方法,其特征在于,建模特征图的空间视觉相似性关系以及空间统计相似性关系的步骤为:S21,基于特征子区域,为所选取的来自特征提取网络各层的特征图分别生成一个视觉相似性矩阵,视觉相似性矩阵中包含了新模型或旧模型某一层特征图划分成的所有子区域两两之间的视觉相似度;
S22,基于特征子区域,为所选取的来自特征提取网络各层的特征图分别生成一组统计相似性矩阵,统计相似性矩阵中包含了新模型或旧模型某一层特征图划分成的所有子区域两两之间的统计相似度。
3.根据权利要求2所述的基于空间视觉和统计关系蒸馏的持续语义分割方法,其特征在于,构建所述视觉相似性矩阵的步骤为:S211,首先对所有特征子区域在通道维度进行平均池化以降维,每个特征子区域被降维为一个二维矩阵;
S212,对模型同一层特征的特征子区域降维得到的二维矩阵之间两两计算余弦相似度,将结果存入视觉相似性矩阵;于是对于新旧模型所选取的每层特征,都分别对应得到一个视觉相似性矩阵。
4.根据权利要求2所述的基于空间视觉和统计关系蒸馏的持续语义分割方法,其特征在于,构建所述统计相似性矩阵的步骤为:S221计算每个特征子区域在每个通道的矩统计量,包括一阶矩、二阶矩和三阶矩;对应每个特征子区域得到其一阶矩向量、二阶矩向量、三阶矩向量,向量的每个元素是特征子区域每个通道上的均值、方差和偏度;
S222,对模型同一层特征的特征子区域的矩向量之间两两计算余弦相似度,将结果存入统计相似性矩阵;于是对于新旧模型所选取的每层特征,对应三个矩统计量,共得到三个统计相似性矩阵。
5.根据权利要求1所述的基于空间视觉和统计关系蒸馏的持续语义分割方法,其特征在于,所述空间视觉相似性关系的一致性约束为:式中,
所述空间统计相似性关系的一致性约束为:
式中,
6.基于空间视觉和统计关系蒸馏的持续语义分割系统,其特征在于,包括:特征子区域划分模块:基于新旧模型的特征提取网络提取图片的多层特征,并划分为多尺度特征子区域;
空间相似性关系构建模块:基于划分的特征子区域,建模特征图的空间视觉相似性关系以及空间统计相似性关系;
以及,一致性约束构建模块:基于知识蒸馏构建新旧模型特征图的空间视觉、统计相似性关系的一致性约束,计算模型总损失并通过梯度下降算法更新模型参数,使模型学习新数据集中的新类别,同时保持对旧类别的分割能力;
划分所述多尺度特征子区域的步骤包括:
S11,将训练图片输入新模型和旧模型的特征提取网络,由浅到深地从特征提取网络的各层选取图片的部分中间特征;
S12,根据所选取的中间特征图在特征提取网络中的深度决定其划分块数,将中间特征图划分为一系列包含不同粒度信息以及多尺度空间信息的特征子区域;
计算模型总损失的步骤包括:
S31,基于知识蒸馏技术,分别计算新旧模型的对应相似性矩阵间的距离作为训练损失,构建空间视觉相似性关系和空间统计相似性关系的一致性约束S32,计算标准分类损失
S33,计算模型训练的总损失
其中,
7.一种计算机存储介质,存储有可读程序,其特征在于,当程序运行时,能够执行权利要求1-5任一项所述的基于空间视觉和统计关系蒸馏的持续语义分割方法。
8.一种电子设备,包括:处理器、存储器、通信接口和通信总线,其特征在于,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-5中任一项所述的基于空间视觉和统计关系蒸馏的持续语义分割方法对应的操作。