1.基于多任务特征融合共享的室内场景空间信息识别检测框架,其特征在于,包括:专属专家模块,当输入图像进入模型时,共享专家模块和每个任务的专属专家同时对图像特征进行提取,并通过全连接层FC和激活函数Softmax对两种不同的图像特征进行融合;
将每个任务的专属专家模块和共享专家模块共同提取到的融合特征图像分别对应输出到实例分割模型和深度估计模型中,所述实例分割模型和深度估计模型均包括金字塔池化特征融合模块,所述金字塔池化特征融合模块包括四个编码器,输出像素比分别16×16、32×32、64×64、128×128四种不同尺寸的特征图像;
自适应空间特征融合模块,所述自适应空间特征融合模块用于将输出的四种不同尺寸的特征图像进行特征融合;
跨任务特征融合感知模块,所述跨任务特征融合感知模块由通道注意力机制和空间注意力机制组成,所述跨任务特征融合感知模块用于通过注意力机制自适应地交互深度估计和实例分割两个不同任务之间的特征,从而充分利用两项任务之间的互补信息;将深度估计模型输出的深度特征图像和实例分割模型输出的分割特征图像输入所述跨任务特征融合感知模块的通道注意力模块,通道注意力机制通过全局平均池化和最大池化操作提取图像特征的全局信息,然后通过全连接层学习每个通道的重要性权重,并叠加得到用于强调对当前任务更有意义的通道特征权重CAM (FD)和CAM (FS),然后将这些通道特征权重与另一个任务的原图像特征FD或FS做逐元素相乘操作,得到新的图像特征F’D和F’S;
通过所述跨任务特征融合感知模块得到新的图像特征F’D和F’S的表达式分别为:;
随后,F’D和F’S进入CFFP的空间注意力模块,空间注意力机制通过串联最大池化和全局平均池化并在其后端接入卷积层的操作来提取图像特征的空间信息,然后生成一个空间注意力图,用于强调特征图中更重要的空间区域,从而得到空间特征权重SAM (F’D)和SAM(F’S),最后跟前面的操作相似,将得到的空间特征权重SAM (F’D)和SAM (F’S)分别与另一个任务的原图像特征FD或FS做逐元素相乘操作,最后得到输出图像特征F”D和F”S,其中F”D和F”S的表达式分别为:;
通过所述跨任务特征融合感知模块可以将所提取的特征通过通道注意力机制和空间注意力机制进行交互共享。
2.根据权利要求1所述的基于多任务特征融合共享的室内场景空间信息识别检测框架,其特征在于:所述专属专家模块的输入特征信息公式表达为:;
其中,SD(x)是一个由所有选定向量组成的选定矩阵,这些向量包括共享专家模块提取的特征ET(S,a)和专属专家模块提取的特征ET(D,a);
使得每个任务可以得到多个专家模块的加权平均和,最后将每个任务的专属专家模块和共享专家模块共同提取到的融合特征图像分别对应输出到实例分割模型和深度估计模型中,其输出表达式为:;
其中,mS和mD分别表示共享专家模块数量与深度估计任务的专属专家数量,d代表输入图像特征的维度。
3.根据权利要求1所述的基于多任务特征融合共享的室内场景空间信息识别检测框架,其特征在于:所述自适应空间特征融合模块的所述四种不同尺寸的特征图像融合表达式分别为:第一层:;
第二层:;
第三层:;
第四层:;
其中,Yc表示第C层四个子特征图像融合后的总特征图像;Xa,b表示第a层子特征图像映射到第b层子特征图像的特征值;α表示层级1映射到其他层级时的特征图像空间权重;β表示层级2映射到其他层级时的特征图像空间权重;γ表示层级3映射到其他层级时的特征图像空间权重;χ表示层级4映射到其他层级时的特征图像空间权重。