1.一种基于轻量级交叉注意网络的实时语义分割的方法,其特征在于,包括以下步骤:步骤1,准备图像数据集用于训练和测试;
步骤2,构建基于交叉注意机制的轻量级实时语义分割网络,包括编码器和解码器,编码器仅去除ResNet18尾部的全连接层以后的部分,其余部分保持不变,解码器包括两个CSCA模块、一个CAB模块和一个分类器,CSCA模块对输入的深层特征应用水平全局平均池化生成条状垂直空间向量,对浅层特征应用垂直全局平均池化生成条状水平空间向量,通过条状水平空间向量和条状垂直空间向量的亲和运算生成通道权重向量,进而利用通道权重向量选择浅层特征的空间信息;CAB模块是将三个特征图1×1卷积层应用于特征图,分别生成查询特征图、关键特征图和值特征图,查询特征图和关键特征图执行交叉亲和操作得到交叉亲和矩阵,交叉亲和矩阵和值特征图执行交叉亲和操作得到融合特征;分类器采用一层1×1卷积和8倍的双线性上采样构成;
步骤3,使用训练集图像对轻量级实时语义分割网络模型进行训练;
步骤4,使用步骤3训练好的网络模型对测试集图像进行分割,得到图像语义分割结果。
2.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法,其特征在于:步骤1中对训练集中的图像进行缩放、上下、左右翻转、随机裁剪、随机旋转来扩充数据集。
3.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法,其特征在于:步骤2中基于交叉注意机制的轻量级实时语义分割网络解码部分包括两个CSCA模块,第一个CSCA模块以浅层特征块Block3和深层特征块Block4的输出作为多尺度输入特征,第二个CSCA模块以浅层特征块Block2和第一个CSCA模块的输出作为多尺度输入特征;将编码器Block2、Block3、Block4、两个CSCA模块和CAB模块的输出作为网络的辅助损耗分支,将每个辅助损失分支的标签缩放到相应的特征分辨率,辅助损耗分支包含两个卷积层,每个辅助损失分支中的第一层3×3卷积压缩通道到32,第二层1×1卷积压缩为类别数;使用辅助监督的形式优化网络,网络损耗的计算方式如下:式中,L表示网络总损耗,Lmain表示主分支损耗,Laux表示辅助损耗分支的损耗,所有损耗函数均为交叉熵损耗函数,λ为各辅助损耗分支的权重。
4.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法,其特征在于:步骤2中CSCA模块的输入包括深层特征和浅层特征,对深层特征应用水平全局平均池H×C化HGAP生成条状垂直空间向量Z∈R ,对浅层特征应用垂直全局平均池化VGAP生成条状水W×C W×C H×C平空间向量H∈R ,CSCA模块通过条状水平空间向量H∈R 和条状垂直空间向量Z∈RC×C C×C的亲和运算生成通道权重向量ω∈R ,并利用通道权重向量ω∈R 选择浅层特征的空间信息,权重向量ω的计算公式如下:C×C C×H
式中,ω∈R 表示通道权重向量,H和W分别表示特征映射的高和宽,ZCT,S∈R 表示第W×CC个通道的垂直转置空间向量的点S,HS,C∈R 表示第C个通道的水平空间向量的点S,Hn,C∈W×CR 表示第C个通道的水平空间向量的点n;
最终的浅层特征空间信息提取和多尺度特征混合可表示为下式:
式中,N为特征映射的高H和宽W的乘积;C表示通道数;ωi表示第i个通道权重向量;
HW×C
是浅层特征L∈R 的通道修正;Ω(·)表示1×1卷积层,第一个1×1卷积Ω(·)用于微调混合特征以生成精细的特征映射,第二个1×1卷积Ω(·)则用于生成精细混H×W×C淆特征F; 是修正后的浅层特征与深层特征M∈R 逐像素相加混合;式(2)和式(3)中的分式 均为softmax的实现形式,softmax函数可避免点积造成特征值过大的问题。
5.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法,其特征在于:步骤2中CAB模块包括两步交叉亲和操作,第一步的交叉亲和操作可表示为下式:H×W×C CH
式中,H和W分别表示特征映射的高和宽,C表示通道数,K∈R 为关键特征图,Q′∈R×W H×W×C H是在Q∈R 上执行置换和调整操作形成转位的空间矩阵,点i和点j表示空间向量K∈R×W×C CH×W H×W和Q′∈R 的交叉点,通过矩阵的重构和亲和操作,可以得到交叉亲和矩阵c∈R ;
第二步的交叉亲和操作可表示为下式:
H×W H
式中,H和W分别表示特征映射的高和宽,C表示通道数,c∈R 为交叉亲和矩阵,V∈R×W×C H×W H×W×C是值特征图,i和j分别是c∈R 的水平维H和V∈R 的垂直维W中的单点值,Θ表示H×W×C连接操作,X∈R 为特征图,P表示专注矩阵。
6.如权利要求1所述的一种基于轻量级交叉注意网络的实时语义分割的方法,其特征在于:步骤3中采用ADAM优化策略,训练最小批设置为16,初始学习率设置为0.03,采用power=0.9的“Poly”学习率衰减率lr,其定义如下:式中,lrinitial为初始学习率,iter为当前迭代次数,total_iters为总迭代次数,power为多项式的幂;
‑4
对图像数据集训练t个迭代周期,采用衰减速率为4×10 的L2正则化方法以避免过拟合,采用平均交并比MIOU作为评价方法,其定义如下:式中,n、TP、FP和TA分别代表类数、真正例、假正例和真负例。