1.一种基于上下文注意力机制和信息融合的实时语义分割方法,其特征在于,包括以下步骤:
(1)构建实时语义分割网络,所述网络包括初始模块、注意力模块、特征提取模块、特征融合模块;
(2)对预先获取的数据集中的图像以及对应的标签进行预处理,再输入到所搭建的网络中进行训练;输入图像经过3次卷积使其分辨率变为原来的1/2,同时,输入图像经过三组单独的降采样模块,使其分辨率分辨变为原来的1//2、1/4和1/8,这三个不同尺寸的特征图分别与后续的主干网络不同阶段的特征进行特征融合;
(3)每个阶段特征融合之后,进入到注意力模块;
(4)经过注意力模块输出后的特征图,进入到特征提取模块中;所述特征图分为两个分支,第一条分支继续进行下采样操作以及卷积特征提取;第二条分支经过上采样以及注意力模块后输出到预测分类操作之前进行特征融合;
(5)融合后的特征经过分类的卷积操作输出最终的预测结果并与对应语义标注图像进行对比,计算交叉熵损失函数作为目标函数,从而得到训练好的网络模型;
(6)利用训练好的模型来预测待测图像语义分割结果。
2.根据权利要求1所述的基于上下文注意力机制和信息融合的实时语义分割方法,其特征在于,所述步骤(2)的实现过程如下:输入图像先经过连续三次3*3卷积核的卷积操作提取初始图像特征并将输入图像分辨率变为1/2:
Fcout=C3x3(C3x3(C3x3(Fin))) (1)其中,Fin表示输入图像,C3x3表示卷积核为3x3的卷积操作,Fcout表示连续3三次卷积后的输出;同时将初始输入图像输入到三个单独降采样率不同的降采样模块中,将输入图像的分辨率分别降采样为原来的1/2、1/4、1/8,用于与后续主干网络中不同阶段提取的图像特征进行融合,以充分利用上下文语义信息:F1=Down1(Fin) (2)F2=Down2(Fin) (3)F3=Down3(Fin) (4)其中,Down1,Down2,Down3表示降采样率分别为2,4,8的降采样模块,F1,F2,F3表示得到的1/2,1/4,1/8特征图;初始模块最终输出为三次卷积后得到的特征图与1/2特征图的级联:
Finitial=Concat(Fcout,F1) (5)其中,Finitial表示初始模块最终输出,Concat表示Concatenate级联操作。
3.根据权利要求1所述的基于上下文注意力机制和信息融合的实时语义分割方法,其特征在于,所述步骤(4)的实现过程如下:经过注意力模块输出后的特征图分为两条分支,一条分支是继续主干网络的特征提取,经过一个下采样模块以及若干深度不对称卷积模块;其中,下采样模块由步长为2的3x3卷积和一个2x2的最大值池化组成:
Fdout=ρ(C3x3(Fdin)+Poolmax,2x2(Fdin)) (9)其中,Fdin和Fdout分别表示下采样模块的输入特征和输出特征,Poolmax,2x2表示2x2的最大值池化操作,C3x3表示3x3的卷积操作,ρ表示PReLU的非线性化操作;
深度不对称卷积模块为双分支结构,第一条分支负责提取局部信息,将3x3的深度可分离卷积分解为串联着的3x1和1x3的两个卷积;第二条分支负责提取上下文语义信息,使用的是串联着的3x1和1x3的两个空洞卷积;不对称卷积模块先用3x3的卷积先将特征图的通道数减少为一半,然后输入到两条分支中,最后将两个分支直接相加后传入1x1卷积中恢复通道,融合所有通道信息:
Fbr1=C1x3(C3x1(C3x3(ρ(FDABin)))) (10)Fbr2=C1x3,d(C3x1,d(C3x3(ρ(FDABin)))) (11)FDABout=Concat(C1x1(ρ(Fbr1+Fbr2)),FDABin) (12)其中,FDABin和FDABout分别表示DAB模块的输入特征和输出特征,FDABin为下采样模块的输出特征Fdout,Fbr1和Fbr2分别表示DABmodule中的两个分支,ρ表示PReLU的非线性化操作,C表示卷积操作,d表示空洞卷积的空洞率;
将第一个不对称卷积模块的输入和最后一个不对称卷积模块的输出进行像素级相加,同时进行像素级相加的还有初始阶段的1/4,1/8特征图,达到特征融合:FBR1=Concat(FDABout,Fn)n=2,3 (13)其中,FBR1表示特征提取模块第一分支的输出;
经过主干网络中注意力模块输出后的第二条分支中包含一个上采样操作、一个卷积层以及一个注意力模块,其中上采样和卷积层用于调整特征图尺寸以及通道数,目的是统一参数,方便网络末尾的特征融合,注意力模块用来提取上采样过后的图像语义信息:FBR2=FAtten(C1x1(Fup(Fdin))) (14)其中,FBR2表示特征提取模块第二条分支的输出,FAtten表示注意力模块,Fup表示上采样操作。
4.根据权利要求1所述的基于上下文注意力机制和信息融合的实时语义分割方法,其特征在于,所述步骤(5)实现过程如下:使用了像素级相加策略,融合后的特征图经过上采样中的反卷积操作输出得到最终的分割结果:
Fadd=Fmain+Fblock1,BR2+Fblock2,BR2 (15)其中,Fadd表示利用像素级相加方法得到的特征图;
整个语义分割网络的预测输出为:
Fout=Fup(Ffusion) (16)其中,Ffusion=FconcatorFadd。