1.一种基于注意力引导机制的实时图像语义分割网络,其特征在于,包括以下步骤;
步骤S1、对输入的原始图像进行预处理,获取分辨率为原始图像一半的降采样图像,该降采样图像作为编码器的输入图像;
步骤S2、利用下采样单元对编码器的输入图像进行两倍的下采样,获取通道数为16的第一特征图;
步骤S3、利用下采样单元对第一特征图进行两倍的下采样,获取通道数为64的第二特征图;
步骤S4、利用极致高效残差模块对第二特征图进行卷积操作;重复该卷积操作5次,每次采用相同的扩张率,扩张率为r=1,每一次卷积中卷积核个数均为64,获取通道数为64的第三特征图,第三特征图的分辨率和特征通道数与第二特征图相同;
步骤S5、利用下采样单元对第三特征图进行两倍的下采样,得到通道数为128的第四特征图;
步骤S6、利用极致高效残差模块对第四特征图进行卷积操作,重复该卷积操作16次,扩张率依次为r=1,2,5,9,1,2,5,9,2,5,9,17,2,5,9,17,每一次卷积中卷积核个数均为128,获取通道数为128的第五特征图,即编码器的输出;
步骤S7、利用上采样单元对第五特征图进行两倍的上采样,获取通道数为64的第六特征图;
步骤S8、利用极致高效残差模块对第六特征图进行卷积操作;重复该卷积操作两次,每一次卷积中卷积核个数均为64,获取通道数为64的第七特征图,第七特征图的分辨率和特征通道数与第六特征图相同;
步骤S9、利用自适应融合模块对第七特征图和第三特征图进行相加的特征融合操,获取通道数为64的第八特征图;
步骤S10、利用上采样单元对第八特征图进行两倍的上采样,获取通道数为16的第九特征图;
步骤S11、利用极致高效残差模块对第九特征图进行卷积操作;重复该卷积操作两次,每一次卷积中卷积核个数均为16,获取通道数为16的第十特征图,第十特征图的分辨率和特征通道数与第九特征图相同;
步骤S12、利用自适应注意力模块对第十特征图进行特征加强,获取通道数为64的第十一特征图;
步骤S13、利用上采样单元对第十一特征图进行两倍的上采样,并向分割类别映射,获取通道数为分割类别数C的特征图,即解码器的输出,作为最终的分割结果图,其分辨率与编码器的输入图像一致。
2.根据权利要求1所述的一种基于注意力引导机制的实时图像语义分割网络,其特征在于,所述步骤S1中,对输入的原始图像进行预处理的过程为:将原始图像缩放到原图尺寸的一半,对缩放后的图像进行左右翻转,再对其进行随机平移,随机平移范围为0‑2个像素点,从平移后的图像中裁剪出尺寸为原始图像一半的图像,该降采样图像即作为编码器的输入图像。
3.根据权利要求1所述的一种基于注意力引导机制的实时图像语义分割网络,其特征在于,所述下采样单元由并行分支构成,并行分支一侧采用卷积核大小为3×3,卷积核个数为16‑3=13,步长为2,则该侧分支输出特征图通道数为16‑3=13;并行分支另一侧采用Max‑Pooling,该侧分支输出特征图通道数为下采样单元输入通道数,即为3,然后将两个分支得到的特征图在通道上做连接,即通道叠加,作为下采样单元输出。
4.根据权利要求1所述的一种基于注意力引导机制的实时图像语义分割网络,其特征在于,所述自适应注意力模块对输入的特征图先经过一个1×1卷积进行线性映射得到特征;然后对处理后的Key分支的特征采用Adaptive Pooling操作;所述Adaptive Pooling操作对给定的任意输入,均可指定输出张量的大小,该操作可以将原始的C×N的矩阵进行了进一步的特征抽取,从而得到了C×S的特征矩阵,其中S<
5.根据权利要求1所述的一种基于注意力引导机制的实时图像语义分割网络,其特征在于,所述自适应融合模块通过Non‑Local机制连接特征;自适应融合模块包括高级特征输入和低级特征输入,两个输入均先经过一个1×1卷积进行线性映射获取特征;低级特征输入后通过AdaptivePooling操作进行采样从原本C×N大小的特征变成了大小为C×S的特征矩阵;然后计算Query和Key的相关性矩阵,即高级特征和低级特征之间的相关性矩阵,将Query转置后与Key相乘,再利用Softmax函数进行归一化,获取一个N×S的相关性矩阵;最后将这个相关性矩阵与Value分支输出的特征进行转置相乘最终获取不同level下特征的融合表示;最终将这个表示与高层输出的特征相加后获取原始图像最新的特征表示。
6.根据权利要求1所述的一种基于注意力引导机制的实时图像语义分割网络,其特征在于,所述上采样单元由反卷积层、激活层、批量归一化层顺序堆叠构成。
7.根据权利要求1所述的一种基于注意力引导机制的实时图像语义分割网络,其特征在于,所述步骤S13中的所述上采样单元直接由反卷积层构成。