1.一种融合局部特征与全局特征的快速语义分割网络,其特征在于:包括第一分支、第二分支和MSFFM多尺度融合模块;
第一分支为CNN分支,包括多个卷积层,用于提取图像的局部特征信息;
第二分支为Transformer分支,包括LN层、多个Outlooker注意力层和一系列转换器MLP,用于通过下采样和自注意力机制提取图像的全局特征信息和上下文特征信息;
第一分支和第二分支输出的特征信息通过多个双边连接以交互的方式融合;第二分支的每次计算输出与第一分支的输出进行交互,用于让第一分支更好的学习全局特征且不增加计算复杂度;
第二分支的每次计算输出连接到MSFFM多尺度融合模块,MSFFM多尺度融合模块用于融合通过交互方式融合后的第一分支和第二分支输出的特征信息,对信息做多尺度的融合操作。
2.根据权利要求1所述的一种融合局部特征与全局特征的快速语义分割网络,其特征在于:第一分支中,设X为输入的特征图像,Conv为卷积操作,BN为层归一化操作,ReLU为激活操作;每个卷积层包括一次Conv操作、一次BN操作和激活操作ReLU函数对其进行;Conv操作用于提取特征图的特征;BN操作用于避免图像在进行梯度运算的过程中产生梯度爆炸以及梯度消失现象;ReLU函数用于将每一层的输出控制在预设范围内,并使其数值为小于0的负数;
则卷积层的公式为:
X′=F.ReLU(BN(Conv(X))) (1)。
3.根据权利要求2所述的一种融合局部特征与全局特征的快速语义分割网络,其特征在于:第二分支中,设LN为层标准化;OutlookerAtt为Outlooker注意力层,用于进行空间编码生成精细化的表示;MLP用于进行通道间信息交互聚合全局信息,建立远距离的依赖关系;每个部分前都有块嵌入模块用于将输入映射到指定形状;输入的特征图像X依次经过LN层、Outlooker模块和MLP提取该图像的全局特征:X′=OutlookerAtt(LN(X))+X (2),
Z=MLP(LN(X′))+X′ (3)。
4.一种基于权利要求1至3中任意一项所述的融合局部特征与全局特征的快速语义分割网络的语义分割方法,其特征在于:包括以下步骤:S1:设输入的待进行语义分割的图像为A;对图像A进行双分支操作,分别通过CNN操作和Transformer操作提取图像的局部特征和全局特征;
S2:将双分支的输出进行交互后输入到MSFFM多尺度融合模块中,对CNN操作提取的局部特征和Transformer操作提取的全局特征进行不同尺度的融合,得到融合了全局特征信息以及局部特征信息的特征图。
5.根据权利要求4所述的语义分割方法,其特征在于:所述的步骤S1中,具体步骤为:S11:图像A经过两次带下采样的卷积操作,产生分辨率为图像A的1/4的特征图A1,并分别输入到CNN分支和Transformer分支;
S12:Transformer分支产生分辨率为图像A的1/8的特征图A2;将特征图A2输入到MSFFM多尺度融合模块;同时对特征图A2做带上采样的卷积操作后再与特征图A1进行相加操作,并输入到CNN分支;
S13:对经过CNN分支的卷积操作后得到的新的特征图进行一次带下采样的CNN操作,然后与特征图A2进行相加操作;
S14:Transformer分支使用Transformer操作来融合相加起来的特征图;
S15:重复步骤S12至S14三次,Transformer分支分半产生特征图A2、特征图A3和特征图A4,对应的分辨率分别为图像A的1/8、1/16和1/32;
S16:对特征图A4做带上采样的卷积操作后再与CNN分支上一步输出的特征图进行相加操作,并输入到CNN分支经过卷积操作输出特征图A5,其分辨率为图像A的1/4。
6.根据权利要求5所述的语义分割方法,其特征在于:所述的步骤S2中,具体步骤为:S21:将CNN分支得到的特征图A5和Transformer分支得到的特征图A2、特征图A3、特征图A4输出载入融合模块;
S22:根据输出特征图的分辨率,对Transformer分支得到的特征图分别进行带上采样的卷积操作和线性瓶颈结构的插值操作,得到相同的维度和分辨率的特征图;然后再与CNN分支得到的特征图进行concatenate操作,融合得到最终的输出。
7.根据权利要求6所述的语义分割方法,其特征在于:所述的步骤S22中,具体步骤为:S221:对Transformer分支最后输出的特征图A4进行带上采样的CNN操作得到分辨率放大两倍的特征图A4′,对经过两次Transformer操作得到的特征图A3进行线性瓶颈结构的插值操作得到特征图A3′,将相同分辨率的特征图A4′和A3′进行相加操作得到特征A33;
S222:对特征图A33进行带上采样的CNN操作得到分辨率放大两倍的特征图A22,对经过一次Transformer操作得到的特征图A2进行线性瓶颈结构的插值操作得到特征图A2′,将相同分辨率的特征图A22和A2′进行相加操作得到特征A11;
S223:对A11进行带上采样的CNN操作得到分辨率放大两倍的特征图A00,然后与CNN分支得到的特征图A5进行concatenate操作得到最终输出。
8.一种计算机存储介质,其特征在于:其内存储有可被计算机处理器执行的计算机程序,该计算机程序执行如权利要求4至权利要求7中任意一项所述的语义分割方法。