1.一种动态多尺度卷积与跨层级注意力特征融合方法,其特征在于,包括:
接收来自解码器的主分支特征以及来自编码器的残差特征和跨层特征,其中,所述解码器与所述编码器在U型网络中同级,所述U型网络用于进行图像语义分割任务并采用UnetFormer网络结构;
根据所述主分支特征和所述残差特征,应用包含有通道注意力和空间注意力的双重注意力机制,校准得到通道注意力计算结果和空间注意力计算结果;
对所述通道注意力计算结果和所述空间注意力计算结果进行合并处理,得到初步融合特征图;
应用双线性插值法对所述跨层特征与所述残差特征进行尺寸对齐处理,得到对齐后跨层特征;
对所述初步融合特征图和所述对齐后跨层特征进行拼接处理,并根据拼接结果和所述初步融合特征图,借助动态多尺度卷积输出动态融合后的新特征图;
对所述新特征图进行局部与全局特征提取处理,得到局部与全局特征,具体包括:按照如下公式对所述新特征图进行局部与全局特征提取处理以得到特征增强的局部与全局特征:式中,表示所述新特征图,表示进行深度可分离卷积的处理函数且有卷积核大小为3,表示全局平均池化处理函数,表示进行卷积的处理函数,表示Sigmoid函数,表示逐像素乘法;
利用门控机制对所述局部与全局特征和所述新特征图进行基于权重的控制融合处理,得到最终融合特征并输出至所述UnetFormer网络结构以进行所述图像语义分割任务。
2.根据权利要求1所述的动态多尺度卷积与跨层级注意力特征融合方法,其特征在于,所述通道注意力的计算公式如下:式中,表示所述通道注意力计算结果,表示所述主分支特征,表示所述残差特征,表示全局平均池化处理函数,表示最大池化处理函数,表示基于具有两层卷积结构的多层感知机的处理函数,表示Sigmoid函数,表示逐像素乘法。
3.根据权利要求1所述的动态多尺度卷积与跨层级注意力特征融合方法,其特征在于,所述空间注意力的计算公式如下:式中,表示所述空间注意力计算结果,表示所述主分支特征,表示所述残差特征,表示逐像素乘法,表示在通道维度上进行平均池化的处理函数,表示在通道维度上进行最大池化的处理函数,表示沿通道维度进行拼接的处理函数,表示进行多核卷积的处理函数且有卷积核大小为,表示Sigmoid函数。
4.根据权利要求1所述的动态多尺度卷积与跨层级注意力特征融合方法,其特征在于,对所述初步融合特征图和所述对齐后跨层特征进行拼接处理,并根据拼接结果和所述初步融合特征图,借助动态多尺度卷积输出动态融合后的新特征图,包括:根据拼接结果和所述初步融合特征图,按照如下公式计算得到动态注意力权重:
式中,表示所述初步融合特征图,表示所述对齐后跨层特征,表示沿通道维度进行拼接的处理函数,表示基于具有SE注意力机制的多层感知机的处理函数,表示归一化函数;
按照如下公式对所述初步融合特征图运用多核卷积并将各分支卷积输出进行堆叠以得到特征堆叠结果:式中,表示进行多核卷积的处理函数且有卷积核大小为,表示沿通道维度进行堆叠的处理函数;
根据所述动态注意力权重和所述特征堆叠结果,按照如下公式进行加权求和以输出动态融合后的新特征图:式中,表示正整数。
5.根据权利要求1所述的动态多尺度卷积与跨层级注意力特征融合方法,其特征在于,利用门控机制对所述局部与全局特征和所述新特征图进行基于权重的控制融合处理,得到最终融合特征,包括:按照如下公式对所述新特征图进行卷积和Sigmoid操作以得到像素级门控权重图:式中,表示所述新特征图,表示进行卷积的处理函数,表示Sigmoid函数;
根据所述像素级门控权重图,按照如下公式对所述局部与全局特征和所述新特征图进行基于权重的控制融合处理以得到最终融合特征:式中,表示所述局部与全局特征,表示逐像素乘法。
6.一种动态多尺度卷积与跨层级注意力特征融合装置,其特征在于,包括有多特征接收单元、双注意力校准单元、初步特征融合单元、特征对齐处理单元、动态多尺度融合单元、特征提取处理单元和控制融合处理单元;
所述多特征接收单元,用于接收来自解码器的主分支特征以及来自编码器的残差特征和跨层特征,其中,所述解码器与所述编码器在U型网络中同级,所述U型网络用于进行图像语义分割任务并采用UnetFormer网络结构;
所述双注意力校准单元,通信连接所述多特征接收单元,用于根据所述主分支特征和所述残差特征,应用包含有通道注意力和空间注意力的双重注意力机制,校准得到通道注意力计算结果和空间注意力计算结果;
所述初步特征融合单元,通信连接所述双注意力校准单元,用于对所述通道注意力计算结果和所述空间注意力计算结果进行合并处理,得到初步融合特征图;
所述特征对齐处理单元,分别通信连接所述多特征接收单元和所述初步特征融合单元,用于应用双线性插值法对所述跨层特征与所述残差特征进行尺寸对齐处理,得到对齐后跨层特征;
所述动态多尺度融合单元,通信连接所述特征对齐处理单元,用于对所述初步融合特征图和所述对齐后跨层特征进行拼接处理,并根据拼接结果和所述初步融合特征图,借助动态多尺度卷积输出动态融合后的新特征图;
所述特征提取处理单元,通信连接所述动态多尺度融合单元,用于对所述新特征图进行局部与全局特征提取处理,得到局部与全局特征,具体包括:按照如下公式对所述新特征图进行局部与全局特征提取处理以得到特征增强的局部与全局特征:式中,表示所述新特征图,表示进行深度可分离卷积的处理函数且有卷积核大小为3,表示全局平均池化处理函数,表示进行卷积的处理函数,表示Sigmoid函数,表示逐像素乘法;
所述控制融合处理单元,通信连接所述特征提取处理单元,用于利用门控机制对所述局部与全局特征和所述新特征图进行基于权重的控制融合处理,得到最终融合特征并输出至所述UnetFormer网络结构以进行所述图像语义分割任务。
7.一种计算机设备,其特征在于,包括有依次通信连接的存储模块、处理模块和收发模块,其中,所述存储模块用于存储计算机程序,所述收发模块用于收发消息,所述处理模块用于读取所述计算机程序,执行如权利要求1~5中任意一项所述的动态多尺度卷积与跨层级注意力特征融合方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述指令在计算机上运行时,执行如权利要求1~5中任意一项所述的动态多尺度卷积与跨层级注意力特征融合方法。
9.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或所述指令在被计算机执行时实现如权利要求1~5中任意一项所述的动态多尺度卷积与跨层级注意力特征融合方法。