1.一种非结构化复杂环境语义分割方法,其特征在于,包括以下步骤:
1)获取原始数据集,对原始数据集进行裁剪处理,以适应模型训练要求,原始数据集覆盖了含小目标类别的结构化道路与非结构化道路场景;
2)对数据集进行筛选分类,得到两种场景的训练集、验证集与测试集;
3)对特征融合-注意力ICNet模型进行改进,获得改进后的特征融合-注意力ICNet模型;
3.1)修改网络特征融合,使用空洞卷积特征融合替代池化,以减少池化对网络特征提取的影响,并使用不同尺度的特征融合以扩大网络感受野,提高整体网络对图像的分割精度;
所述步骤3.1)具体步骤为:
3.1.1)删除原ICNet网络中缩放1/4分辨率的支路的PPM特征融合模块,减少大量池化对特征融合的影响;
3.1.2)在ICNet中缩放1/2分辨率的支路中使用空洞卷积替代池化;具体使用四种不同采样率的卷积,分别为一个1×1卷积和三个3×3的采样率为6、12、18的空洞卷积,以有效的获取多尺度信息;三个带padding的空洞卷积,使得卷积的感受野分别扩大到了23×23、47×47、71×71,将不同的感受野卷积结果进行Concat操作,小感受野便于网络获取精细的特征信息,大感受野便于获取目标在图像中的整体空间信息,通过大小不同感知野的特征融合,提升了网络对非结构化道路的整体分割效果;
3.2)基于小目标类别建立坐标注意力机制模块,以提高网络对不同复杂道路及小目标物体语义分割精度;
所述步骤3.2)具体步骤为:
3.2.1)将输入分别沿X和Y方向进行平均池化;
3.2.2)经过维度转换后,将输入的C×H×W的向量转换为了C×H×1和C×W×1两个向量;
3.2.3)池化后将两个方向的信息沿同一维度进行合并操作,形成C×(H+W)×1的向量;使用r减少通道数以降低模型复杂度,r表示缩放比,将向量减小为C/r×(H+W)×1;
3.2.4)经过批归一化Batch normalization和激活函数h-Swish后,将网络再次沿先前维度分离、卷积以恢复到最初C×H×1和C×W×1两个大小;
3.2.5)经一次卷积以及sigmoid激活后,与原输出合并进行reweight操作;两个方向的单独分离处理使网络得到沿着两个空间方向的长期依赖关系,同时保留了精确的位置信息,有利于网络更加精确地定位到所需位置,提升网络对于非结构化道路环境中小目标物体类别分界处边缘的分割效果;
3.2.6)以ASPP为基础骨干,在每个支路嵌入坐标注意力机制,使网络同时关注到不同感知野的注意力信息;并在不同尺度特征信息后增添坐标注意力;
3. 3)构建双权重的损失函数,针对非结构化道路的存在的样本类别不均衡问题,对图像样本类别赋予不同的权重,以进一步提升网络对图像中小目标类别的分割精度;
4)将训练集的数据输入到改进后的特征融合-注意力ICNet模型中进行训练操作;
5)使用预训练网络模型对输入的验证集进行特征提取,送入到改进后的特征融合-注意力ICNet进行预测。
2.如权利要求1所述的一种非结构化复杂环境语义分割方法,其特征在于:所述步骤3.3)具体步骤为:
3.3.1)带类别权重的交叉熵损失函数表达式为:
;
3.3.2)参考ENet类别平衡方法,定义权重ωi为:
;
3.3.3)基于以上权重损失函数,改进后的网络总损失函数表达式为:;
式中λ表示每条通道的权重,T表示通道数;c表示每个类别的权重,根据数据集不同选取不同值;y为对应pi点发生的概率;
3.3.4)改进的损失函数通过对不同类别赋予不同的权重,增强了网络对像素占比较少样本的特征提取能力,有效地提升了网络对小目标类别的分割精度。
3.如权利要求1所述的一种非结构化复杂环境语义分割方法,其特征在于:所述步骤4)具体步骤为:将主干网络ResNet50放入ImageNet数据集进行预训练生成权重文件,保留部分ResNet结构,将参数送入特征融合-注意力ICNet中,使用Cityscapes数据集以及IDD数据集进行训练,迭代轮数为n轮,采用学习率衰减调度器,初始学习率为a,衰减率选择b;优化器采用动量梯度下降法 SGD,在SGD基础上引入一阶动量,减少震荡过程,在加速收敛的同时保证梯度下降的平稳性,两个数据集的Batch size均设置为m;训练直至迭代结束。