1.一种基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述方法包括:
预先训练多模态教师模型,将多模态图像样本输入至所述多模态教师模型,得到多模态教师特征和多模态教师模型输出预测图,将单模态图像样本输入至学生模型,得到学生特征和学生模型输出预测图;
将所述多模态教师特征输入至模态增强融合模块,得到教师融合特征,所述模态增强融合模块包括模态融合与模态增强两个阶段,所述模态融合阶段通过通道-空间注意力级联架构对所输入的多模态教师特征进行互补融合,得到初步模态融合特征,所述模态增强阶段通过注意力机制对所述初步模态融合特征与学生模型共有的模态进行增强,得到教师融合特征,实现模态差距的缩小;
将所述教师融合特征和所述学生特征按照阶段不同分别划分成低级教师融合特征和高级教师融合特征、低级学生特征和高级学生特征;
使用频域感知蒸馏模块将所述低级教师融合特征和所述低级学生特征分别转换成频域图,取出低级教师融合特征和低级学生特征频域图中的高频部分传递细节知识;
使用跨模态相关性蒸馏模块计算所述高级教师融合特征和所述高级学生特征的互相关矩阵以及所述高级学生特征的自相关矩阵,通过缩小所述互相关矩阵和所述自相关矩阵之间的空间距离,将多模态教师模型包含的结构性知识传递给学生模型;
对齐多模态教师模型输出预测图和学生模型输出预测图,传递响应知识。
2.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述模态融合阶段通过通道-空间注意力级联架构对所输入的多模态教师特征进行互补融合,得到初步模态融合特征,具体步骤包括:对所述多模态教师特征在通道维度上进行拼接,得到拼接特征;
将所述拼接特征分别通过全局平均池化和全局最大池化操作,生成两个通道描述符,将两个通道描述符输入到多层感知机,得到通道注意力矩阵;
将所述通道注意力矩阵与所述拼接特征逐元素相乘,得到自适应加权特征;
将所述自适应加权特征分别通过平均池化和最大池化操作,生成两个空间描述符,将两个空间描述符在通道上进行拼接,并通过卷积层生成空间注意力矩阵:通过将所述空间注意力矩阵与所述自适应加权特征逐元素乘法计算,得到初步模态融合特征。
3.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述模态增强阶段通过注意力机制对所述初步模态融合特征与学生模型共有的模态进行增强,得到教师融合特征,具体包括:首先获取多模态教师模型与学生模型共有模态的特征,并将所述初步模态融合特征与共有模态的特征输入到卷积、批归一化和激活函数,得到Q,K,V三个特征向量,Q为查询向量,K为键向量,V为值向量;然后通过矩阵乘法计算出所述初步模态融合特征和共有模态的特征之间的注意力矩阵;其次利用所述注意力矩阵对V特征向量进行加权;最后将加权结果与共有模态的特征进行残差连接得到最终融合结果。
4.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述使用频域感知蒸馏模块将所述低级教师融合特征和所述低级学生特征分别转换成频域图,具体包括:所述频域感知蒸馏模块利用三级离散小波变换将所述低级教师融合特征和所述低级学生特征分别分解为含一个低频带的低频部分和含九个高频带的高频部分。
5.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述使用跨模态相关性蒸馏模块计算所述高级教师融合特征和所述高级学生特征的互相关矩阵以及所述高级学生特征的自相关矩阵,具体包括:首先通过下采样操作将高级教师融合特征和高级学生特征分别转化成多尺度特征图,捕捉多尺度信息;然后通过高级教师融合特征和高级学生特征的多尺度特征图,计算出两者互相关矩阵;最后计算高级学生特征的自相关矩阵。
6.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述传递细节知识和所述将多模态教师模型包含的结构性知识传递给学生模型,均采用平均绝对误差函数来计算损失函数。
7.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,所述传递响应知识使用交叉熵函数来计算损失函数。
8.根据权利要求1所述的基于跨模态分层知识蒸馏的图像语义分割方法,其特征在于,利用数据集训练学生模型,数据集标签和教师模型同步的输出预测图作为学生模型的监督值,总体损失函数,其中,,和表示不同的超参数,为传递细节知识损失函数,为传递结构知识损失函数,为语义分割任务损失函数,为传递响应知识损失函数。
9.一种基于跨模态分层知识蒸馏的图像语义分割系统,至少包括微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~8中任意一项所述基于跨模态分层知识蒸馏的图像语义分割方法的步骤,或者该存储器中存储有被编程或配置以执行权利要求1~8中任意一项所述基于跨模态分层知识蒸馏的图像语义分割方法的计算机程序。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~8中任意一项所述基于跨模态分层知识蒸馏的图像语义分割方法的计算机程序。