1.RGB-D多模态语义分割方法,其特征在于,包括如下步骤:
S1.设计自注意力多模态信息交互模块:所述自注意力多模态信息交互模块主要用于在通道维度和空间维度两个维度上实现彩色图和深度图之间的多模态信息交互;
S2.建立RGB-D多模态语义分割模型:所述RGB-D多模态语义分割模型包括双流特征提取主干网络、多模态通道注意力校正模块、多模态全局特征聚合模块和特征金字塔解码器模块;所述双流特征提取主干网络用于将彩色图和深度图两种模态分别进行特征提取,生成不同尺寸的特征图,并在每次下采样后将特征传入四个多模态通道注意力校正模块;所述多模态通道注意力校正模块对所述双流特征提取主干网络提取到的彩色特征和深度特征在通道维度进行特征校正,并将校正后的特征传入多模态全局特征聚合模块,首先将彩色特征和深度特征通过不同大小的池化操作进行下采样,将池化结果展平后沿着第二个维度进行拼接,得到多尺度彩色特征和多尺度深度特征,然后通过全连接层将维度映射到更高的维度中,得到向量化的彩色特征和深度特征,将向量化的彩色特征和深度特征分别添加可学习的模态编码后传入Transformer模块中进行全局注意力建模;所述多模态全局特征聚合模块对多模态通道注意力校正模块输出的校正后的彩色特征和深度特征空间维度上进行特征聚合,首先在特征图中嵌入位置信息和模态信息,通过一个卷积核大小为3×3,步长为1×1,填充大小为1×1的深度可分离卷积来引入位置信息,再通过残差连接与输入的特征进行对应相加,除了位置编码之外,还添加了可学习的模态编码,得到带有位置信息和模态信息的彩色特征和深度特征,然后通过所述自注意力多模态信息交互模块进行空间维度的信息交互,并与输入进行残差连接,同时引入空间缩减模块,通过键向量和值向量的共享机制来减小计算量,之后通过层归一化获得空间信息交互后的彩色特征和深度特征,最后通过一个1×1的卷积来将两种模态的特征图融合为一个单一特征图,此外,为了提升模型鲁棒性,将原始的特征图通过一个大小为3×3的深度可分离卷积获取局部特征,并通过残差连接与全局特征进行融合,再通过批归一化层获得最终的输出;
S3.进行RGB-D多模态语义分割模型训练:将彩色图、深度图和语义分割真实标签输入所述RGB-D多模态语义分割模型进行训练,得到训练后的RGB-D多模态语义分割模型。
2.根据权利要求1所述的RGB-D多模态语义分割方法,其特征在于,所述自注意力多模态信息交互模块,在原始多头注意力模块基础上针对多模态数据进行了改进;
所述自注意力多模态信息交互模块,首先对输入的彩色特征和深度特征分别计算查询向量、键向量和值向量,其中三种向量的获取由全连接层完成,之后通过交换两种模态的查询向量,用一种模态的查询向量和另一种模态的键向量的转置进行矩阵乘法,计算出每一种模态的自注意力矩阵,再将得到的自注意力矩阵与值向量进行矩阵乘法,得到信息交互后的彩色特征和深度特征,最后通过一个全连接层获得最终的输出结果,实现跨模态的信息交互,以上操作用以下公式表示为:;
式中,分别表示彩色特征的查询向量、键向量和值向量,分别表示深度特征的查询向量、键向量和值向量,表示向量的维度,表示激活函数,和分别表示彩色特征和深度特征的自注意力矩阵,表示全连接层,和分别表示信息交互后的彩色特征和深度特征。
3.根据权利要求1所述RGB-D多模态语义分割模型,其特征在于,所述RGB-D多模态语义分割模型由双流特征提取主干网络、四个多模态通道注意力校正模块和四个多模态全局特征聚合模块构成;
所述双流特征提取主干网络的计算过程用以下公式表示:
;
式中, 表示第个模块的输入,表示层归一化,表示自注意力多模态信息交互模块,表示多层感知机;
所述多模态通道注意力校正模块的计算过程用以下公式表示:
;
式中,和分别表示彩色特征和深度特征,和分别表示多尺度最大池化和多尺度平均池化,表示合并操作,表示展平操作,和分别表示多尺度彩色特征和多尺度深度特征,和分别表示向量化的彩色特征和深度特征,和分别表示通道信息交互后的彩色特征和深度特征,和分别表示彩色特征和深度特征的模态编码,和分别表示两种模态的通道注意力向量,表示多层感知机,和分别表示对应元素相加和对应通道相乘,和分别表示多尺度注意力校正后的彩色特征和深度特征;
所述多模态全局特征聚合模块的计算过程用以下公式表示:
;
式中,表示位置编码和模态编码,表示卷积核大小为3×3的深度可分离卷积,和表示经过位置编码和模态编码后的彩色特征和深度特征,SR表示空间缩减模块,和分别表示空间信息交互后的彩色特征和深度特征,表示全局特征,表示激活函数,表示局部特征,BN表示批归一化层,表示最终的输出。