欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023104198824
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于,包括以下步骤:步骤1:构建自适应上下文感知网络;

所述自适应上下文感知网络,包括双模态输入的编码器、注意力融合模块、自适应金字塔上下文模块、轻量级解码器和跳跃连接层;

所述双模态输入的编码器,包括并行设置的RGB分支和深度分支;均以ResNet34-NBt1D作为主干,包括五层,第一层是卷积层,其后设置有归一化层和激活层;第二层是最大池化层,其后设置有3个非瓶颈块;第三至第五层均是非瓶颈块;

所述注意力融合模块,由通道注意力模块和空间注意力模块组成,设置于所述双模态输入的编码器的每层末端;对双模态的RGB分支和的深度分支的两张特征图分别进行通道、空间注意力特征加强后,再进行矩阵元素求和形成新的RGB特征输入,深度分支的空间特征将继续向下一阶段传递;所述通道注意力模块,位于RGB分支,通过全局平均池将每个通道的信息压缩成一个与尺寸无关的特征图,再通过两个卷积层,以及不同激活函数ReLU和Sigmoid计算出一个权重系数,权重系数与初始输入矩阵元素求积,获得通道信息加强的特征;所述空间注意力模块,位于深度分支,通过逐点卷积层获取立体特征,再对该特征输入三个不同尺度的空间金字塔池化,得到三个自适应平均池化特征并加权,级联输出求得权重值,与初始输入矩阵元素求积,得到空间信息加强的立体特征;

所述自适应金字塔上下文模块,首先将输入的特征图分别经过两个卷积划分为不同大小的子区域,然后对每个子区域进行池化操作,得到两个固定大小的特征向量;最后,两个尺度特征向量被级联在一起,送入一个卷积操作中进行特征融合,生成最终的特征图作为自适应金字塔模块的输出;

所述轻量级解码器,特征通过卷积核构造三个分支,中间m-分支和底部d-分支均先后经过对称卷积、通道注意力模块、对称卷积处理,再将这两层特征像素求和,求和合后再经过一次卷积;其中,中间m-分支的对称卷积采用可分离卷积,用于扩大感受野,获取远距离特征信息;底部d-分支的卷积为一般卷积,负责提取局部和短距离特征信息;中间与底部分支求和的特征与上分支原始特征融合,经过通道混洗进一步整合不同的信息,该混洗后的特征经双线性上采样恢复成原本图像特征;

所述跳跃连接层,通过卷积,将输入通道数提升一倍,尺寸不变;

步骤2:使用编码器的RGB分支和深度分支,分别提取待处理图像的RGB图像的通道特征和深度图的深度特征,进行降采样,获得具有压缩分辨率的特征图;

步骤3:利用自适应金字塔上下文模块提取来自编码器的信息,使用轻量级解码器对自适应金字塔上下文模块的信息进行双线性上采样,经过金字塔监督输出多尺度特征分割结果,另外使用轻量级残差单元信息传递到下一阶段,提高推理速度;

步骤4:利用三个跳跃连接层将来自注意融合模块的三层特征,通过1×1卷积,使其与三个轻量级解码单元的通道数保持一致,其余特征不变,便于轻量级解码单元实现底层特征与高层特征的融合,卷积后输出分割结果。

2.根据权利要求1所述的基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于:步骤1中,所述双模态输入的编码器,第一层是7×7的卷积层,步长为2;第二层是最大池化层,步长为2;第三至第五层均是非瓶颈块,数量分别为4,6,3;

所述通道注意力模块,包括两个1×1的卷积层;所述空间注意力模块,包括卷积核大小为1,步长为2的逐点卷积层,和1×1,4×4,7×7三个不同尺度的空间金字塔池化;

所述自适应金字塔上下文模块,包括1×1、5×5两个卷积划分为不同大小的子区域,然后对每个子区域进行池化操作,得到两个固定大小的特征向量;最后,两个尺度特征向量被级联在一起,送入一个1x1卷积操作中进行特征融合;

所述轻量级解码器,特征通过大小为1的卷积核构造三个分支,中间m-分支和底部d-分支均先后经过对称卷积(3×1,1×3)、通道注意力模块、对称卷积(3×1,1×3)处理,再将这两层特征像素求和,求和合后再经过一次1×1卷积;

所述跳跃连接层,包括卷积核大小为1的卷积。

3. 根据权利要求1所述的基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于:步骤1中,所述空间注意力模块使用1×1、4×4、7×7平均池化分别获取结构规则性信息、平衡结构信息和结构正则化之间的关系;其中,第l个元素的空间注意力金字塔模块为:(1)

其中,作为输入特征,,表示代数域,C、H、W分别表示通道数,输入图片的高度以及宽度;C()表示级联层,P() 和R()分别表示为池化算子和向量调整大小算子;1、4、7表示1×1、4×4、7×7平均池化卷积;

为了获得最终的注意力结果,执行逐元素乘法M():

(2)

(3)

其中,表示通道注意力模块,实现通道和空间分支局部分类端到端的信息学习,sigmoid函数σ作为激活层函数;

将经过空间注意力模块和通道注意力模块的信息融合到RGB输入分支,融合特征图生成为:(4)

其中,下角标C代表RGB输入所在的通道分支,下角标S代表深度输入所在的深度分支;、分别表示通道注意力特征的元素求和、空间注意力特征的元素求和。

4.根据权利要求1所述的基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于:步骤3中,所述双线性上采样,深度特征和RGB特征经过轻量化残差单元后分辨率分别上升到与快捷路径特征相同的尺寸;

所述轻量化残差单元由为补充信息连续性、获取近距离特征信息的普通卷积层和扩张的深度可分离卷积层组成,其中,下支路记为d,中支路记为m,k值表示特征图经过不成对的卷积的次数;

所述轻量化残差单元公式表达如下:

(5)

其中,H表示d-分支或m-分支,为解码器特征输入,,表示代数域,C、H、W分别表示通道数,输入图片的高度以及宽度;表示1×1卷积层的权重,使用通道注意模块来增强语义表达;非对称卷积可以逼近现有的卷积,保证相同的计算量条件下,加速模型推理以及压缩模型大小;K表示特征映射通过未配对卷积的次数;

所述轻量级解码器集成长距离和短距离特征,如下所示:

(6)

其中,表示下支路d或中支路m的输出;对这些分支进行求和后,channel shuffle实现它们之间的特征通信。

5.根据权利要求1-4任意一项所述的基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于:所述自适应上下文感知网络,是训练好的自适应上下文感知网络;

训练过程中,利用数据集训练空间信息引导的自适应上下文感知网络,并根据交叉熵函数计算损失;

(7)

其中,表示类别数,是识别真实的各个类别的发生概率,是预测的各个类别的发生概率。

6.一种基于自适应上下文感知网络的RGB-D语义分割系统,其特征在于,包括以下模块:第一模块,用于构建自适应上下文感知网络;

所述自适应上下文感知网络,包括双模态输入的编码器、注意力融合模块、自适应金字塔上下文模块、轻量级解码器、跳跃连接层;

所述双模态输入的编码器,包括并行设置的RGB分支和深度分支;均以ResNet34-NBt1D作为主干,包括五层,第一层是卷积层,其后设置有归一化层和激活层;第二层是最大池化层,其后设置有3个非瓶颈块;第三至第五层均是非瓶颈块;

所述注意力融合模块,由通道注意力模块和空间注意力模块组成,设置于所述双模态输入的编码器的每层末端;对双模态的RGB分支和的深度分支的两张特征图分别进行通道、空间注意力特征加强后,再进行矩阵元素求和形成新的RGB特征输入,深度分支的空间特征将继续向下一阶段传递;所述通道注意力模块,位于RGB分支,通过全局平均池将每个通道的信息压缩成一个与尺寸无关的特征图,再通过两个卷积层,以及不同激活函数ReLU和Sigmoid计算出一个权重系数,权重系数与初始输入矩阵元素求积,获得通道信息加强的特征;所述空间注意力模块,位于深度分支,通过逐点卷积层获取立体特征,再对该特征输入三个不同尺度的空间金字塔池化,得到三个自适应平均池化特征并加权,级联输出求得权重值,与初始输入矩阵元素求积,得到空间信息加强的立体特征;

所述自适应金字塔上下文模块,首先将输入的特征图分别经过两个卷积划分为不同大小的子区域,然后对每个子区域进行池化操作,得到两个固定大小的特征向量;最后,两个尺度特征向量被级联在一起,送入一个卷积操作中进行特征融合,生成最终的特征图作为自适应金字塔模块的输出;

所述轻量级解码器,特征通过卷积核构造三个分支,中间m-分支和底部d-分支均先后经过对称卷积、通道注意力模块、对称卷积处理,再将这两层特征像素求和,求和合后再经过一次卷积;其中,中间m-分支的对称卷积采用可分离卷积,用于扩大感受野,获取远距离特征信息;底部d-分支的卷积为一般卷积,负责提取局部和短距离特征信息;中间与底部分支求和的特征与上分支原始特征融合,经过通道混洗进一步整合不同的信息,该混洗后的特征经双线性上采样恢复成原本图像特征;

所述跳跃连接层,通过卷积,将输入通道数提升一倍,尺寸不变;

第二模块,用于使用编码器的RGB分支和深度分支,分别提取待处理图像的RGB图像的通道特征和深度图的深度特征,进行降采样,获得具有压缩分辨率的特征图;

第三模块,用于利用自适应金字塔上下文模块提取来自编码器的信息,使用轻量级解码器对自适应金字塔上下文模块的信息进行双线性上采样,经过金字塔监督输出多尺度特征分割结果,另外使用轻量级残差单元信息传递到下一阶段,提高推理速度;

第四模块,用于利用三个跳跃连接层将来自注意融合模块的三层特征,通过1×1卷积,使其与三个轻量级解码单元的通道数保持一致,其余特征不变,便于轻量级解码单元实现底层特征与高层特征的融合,卷积后输出分割结果。

7.根据权利要求6所述的基于自适应上下文感知网络的RGB-D语义分割系统,其特征在于:第一模块中,所述双模态输入的编码器,第一层是7×7的卷积层,步长为2;第二层是最大池化层,步长为2;第三至第五层均是非瓶颈块,数量分别为4,6,3;

所述通道注意力模块,包括两个1×1的卷积层;所述空间注意力模块,包括卷积核大小为1,步长为2的逐点卷积层,和1×1,4×4,7×7三个不同尺度的空间金字塔池化;

所述自适应金字塔上下文模块,包括1×1、5×5两个卷积划分为不同大小的子区域,然后对每个子区域进行池化操作,得到两个固定大小的特征向量;最后,两个尺度特征向量被级联在一起,送入一个1x1卷积操作中进行特征融合;

所述轻量级解码器,特征通过大小为1的卷积核构造三个分支,中间m-分支和底部d-分支均先后经过对称卷积(3×1,1×3)、通道注意力模块、对称卷积(3×1,1×3)处理,再将这两层特征像素求和,求和合后再经过一次1×1卷积;

所述跳跃连接层,包括卷积核大小为1的卷积。

8. 根据权利要求6所述的基于自适应上下文感知网络的RGB-D语义分割系统,其特征在于:第一模块中,所述空间注意力模块使用1×1、4×4、7×7平均池化分别获取结构规则性信息、平衡结构信息和结构正则化之间的关系;其中,第l个元素的空间注意力金字塔模块为:(1)

其中,作为输入特征,,表示代数域,C、H、W分别表示通道数,输入图片的高度以及宽度;C()表示级联层,P() 和R()分别表示为池化算子和向量调整大小算子;1、4、7表示1×1、4×4、7×7平均池化卷积;

为了获得最终的注意力结果,执行逐元素乘法M():

(2)

(3)

其中,表示通道注意力模块,实现通道和空间分支局部分类端到端的信息学习,sigmoid函数σ作为激活层函数;

将经过空间注意力模块和通道注意力模块的信息融合到RGB输入分支,融合特征图生成为:(4)

其中,下角标C代表RGB输入所在的通道分支,下角标S代表深度输入所在的深度分支;、分别表示通道注意力特征的元素求和、空间注意力特征的元素求和。

9.根据权利要求6所述的基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于:第三模块中,所述双线性上采样,深度特征和RGB特征经过轻量化残差单元后分辨率分别上升到与快捷路径特征相同的尺寸;

所述轻量化残差单元由为补充信息连续性、获取近距离特征信息的普通卷积层和扩张的深度可分离卷积层组成,其中,下支路记为d,中支路记为m,k值表示特征图经过不成对的卷积的次数;

所述轻量化残差单元公式表达如下:

(5)

其中,H表示d-分支或m-分支,为解码器特征输入,,表示代数域,C、H、W分别表示通道数,输入图片的高度以及宽度;表示1×1卷积层的权重,使用通道注意模块来增强语义表达;非对称卷积可以逼近现有的卷积,保证相同的计算量条件下,加速模型推理以及压缩模型大小;K表示特征映射通过未配对卷积的次数;

所述轻量级解码器集成长距离和短距离特征,如下所示:

(6)

其中,表示下支路d或中支路m的输出;对这些分支进行求和后,channel shuffle实现它们之间的特征通信。

10.根据权利要求6-9任意一项所述的基于自适应上下文感知网络的RGB-D语义分割方法,其特征在于:所述自适应上下文感知网络,是训练好的自适应上下文感知网络;

训练过程中,利用数据集训练空间信息引导的自适应上下文感知网络,并根据交叉熵函数计算损失;

(7)

其中,表示类别数,是识别真实的各个类别的发生概率,是预测的各个类别的发生概率。