1.一种图像语义分割方法,其特征在于,包括以下步骤:
1)利用卷积神经网络获取预训练集图像的通用特征;
2)将所述通用特征输入空间卷积神经网络,获取深层次特征信息,即特征图;
步骤2)中,获取所述特征图的具体实现过程包括:
2A)对所述通用特征按照设定方向进行卷积操作,提取所述特征图的深层特征,并获取所述设定方向的特征图;
2B)拼接步骤2A)获得的深层特征,得到最终的特征图;
其中,所述设定方向是指向下、向上、向右或向左中的一种或多种的组合;对所述通用特征依次按照向下、向上、向右和向左四个方向进行卷积操作;
3)将所述通用特征和所述特征图作为注意力模型的输入,得到权重图;
4)融合所述特征图和所述权重图,生成语义分割模型;
所述注意力模型包括:
输入模块,所述输入模块连接所述卷积神经网络和第二空洞卷积模块的第一个第二空洞卷积层,用于对所述通用特征进行卷积操作,并利用Relu激活函数对卷积操作后的结果施加非线性因素,得到施加非线性因素的通用特征,并将该施加非线性因素的通用特征输入第二空洞卷积模块和残差模块;
第一空洞卷积模块,用于提取所述空间卷积神经网络输出的特征图的多尺度特征信息;
第二空洞卷积模块,用于提取所述卷积神经网络输出的通用特征的多尺度信息;
残差模块,用于融合所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息,得到所述权重图;
所述第一空洞卷积模块包括多个第一空洞卷积层;第一个第二空洞卷积层的输入为所述通用特征,第一个所述第一空洞卷积层的输入为所述第一个第二空洞卷积层的输出和所述特征图;第二个第二空洞卷积层的输入为所述第一个第一空洞卷积层的输出,第二个第一空洞卷积层的输入为所述第二个第二空洞卷积层的输出和所述特征图;依此类推;其中,前N‑1个第一空洞卷积层、所有的第二空洞卷积层连接构成所述第二空洞卷积模块;N≥2;
所述残差模块包括:
连接单元,用于连接所述施加非线性因素的通用特征、所有第二空洞卷积层的输出和第二空洞卷积模块中最后一个第一空洞卷积层的输出,得到连接结果;
拼接单元,用于拼接所述连接结果和所有第一空洞卷积层的输出;
卷积单元,用于所述拼接单元输出的拼接结果进行卷积操作;
激活函数,用于对卷积单元输出的卷积结果进行映射操作,输出权重图;
N个卷积核大小为K×K的第二空洞卷积层对应的采样率分别为[r1,…,ri,…,rn],当i
将所述第二空洞卷积模块中N个第二空洞卷积层均分为两组,每一组内空洞卷积层的采样率公因子均小于或等于1。
2.根据权利要求1所述的图像语义分割方法,其特征在于,步骤4)之后,还包括:
5)训练所述语义分割模型,得到最终的语义分割模型。
3.根据权利要求1所述的图像语义分割方法,其特征在于,步骤1)之前,还进行如下操作,对所述训练集图像进行预处理。
4.根据权利要求3所述的图像语义分割方法,其特征在于,所述预处理包括:调整所述训练集图像的尺寸,并将每一幅调整后的训练集图像每一个像素点值减去该训练集图像的像素均值,得到预处理后的训练集图像。
5.根据权利要求1所述的图像语义分割方法,其特征在于,步骤2A)的具体实现过程包括:
I)将所述通用特征表示为张量形式,按照向下方向对表示为张量形式的通用特征进行切片操作,获得多个切片;
II)对当前切片进行卷积操作,并将卷积操作后得到的结果输入激活函数,获得当前切片的输出结果;
III)合并当前切片的输出结果与下一切片,对于合并后的切片,执行步骤II)和步骤III)的操作;
IV)重复步骤III),直至所有切片执行完毕。
6.根据权利要求1所述的图像语义分割方法,其特征在于,步骤3)中,所述权重图的获取过程包括:
3A)获取所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息;
3B)融合所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息,得到所述权重图。
7.根据权利要求6所述的图像语义分割方法,其特征在于,步骤3A)中,获取所述通用特征的多尺度特征信息之前,还对所述通用特征进行卷积操作,并利用Relu激活函数对卷积操作后的结果施加非线性因素,得到施加非线性因素的通用特征。
8.根据权利要求6所述的图像语义分割方法,其特征在于,步骤3B)的具体实现过程包括:
A)连接所述通用特征的多尺度特征信息;
B)拼接步骤A)的连接结果与所述特征图的多尺度特征信息;
C)对步骤B)的拼接结果进行卷积操作,将卷积操作后的结果输入激活函数,得到所述权重图。
9.根据权利要求8所述的图像语义分割方法,其特征在于,步骤A)中,连接所述通用特征的多尺度特征信息和所述施加非线性因素的通用特征。
10.根据权利要求1所述的图像语义分割方法,其特征在于,步骤4)的具体实现过程包括:
4A)将所述特征图与所述权重图相乘,相乘的结果与所述特征图相加;
4B)对步骤4A)得到的相加结果进行卷积操作,并对卷积操作后的结果进行正则化处理;
4C)对正则化处理后的结果进行卷积操作和上采样操作,得到语义分割模型。
11.根据权利要求1~8之一所述的图像语义分割方法,其特征在于,步骤5)的具体实现过程包括:利用反向传播算法更新步骤4)得到的所述语义分割模型的参数,同时计算所述语义分割模型与预先标注好的语义分割信息的交叉熵损失,当所述交叉熵损失满足预设的收敛条件时,固化满足所述收敛条件时的语义分割模型的参数,对应的语义分割模型即为最终的语义分割模型。
12.根据权利要求11所述的图像语义分割方法,其特征在于,利用F1‑Mesure、准确率和mIoU衡量最终的语义分割模型的预测性能。
13.一种图像语义分割系统,其特征在于,包括:
卷积神经网络,用于获取训练集图像的通用特征;
空间卷积神经网络,用于利用所述卷积神经网络输出的通用特征获取深层次特征信息,即特征图;获取所述特征图的具体实现过程包括:
2A)对所述通用特征按照设定方向进行卷积操作,提取所述特征图的深层特征,并获取所述设定方向的特征图;
2B)拼接步骤2A)获得的深层特征,得到最终的特征图;
其中,所述设定方向是指向下、向上、向右或向左中的一种或多种的组合,对所述通用特征依次按照向下、向上、向右和向左四个方向进行卷积操作;
注意力模型,用于利用所述卷积神经网络输出的通用特征和所述空间卷积神经网络输出的特征图得到权重图;
融合网络,用于融合所述特征图和所述权重图,生成语义分割模型;
所述注意力模型包括:
输入模块,所述输入模块连接所述卷积神经网络和第二空洞卷积模块的第一个第二空洞卷积层,用于对所述通用特征进行卷积操作,并利用Relu激活函数对卷积操作后的结果施加非线性因素,得到施加非线性因素的通用特征,并将该施加非线性因素的通用特征输入第二空洞卷积模块和残差模块;
第一空洞卷积模块,用于提取所述空间卷积神经网络输出的特征图的多尺度特征信息;
第二空洞卷积模块,用于提取所述卷积神经网络输出的通用特征的多尺度信息;
残差模块,用于融合所述特征图的多尺度特征信息和所述通用特征的多尺度特征信息,得到所述权重图;
所述第一空洞卷积模块包括多个第一空洞卷积层;第一个第二空洞卷积层的输入为所述通用特征,第一个所述第一空洞卷积层的输入为所述第一个第二空洞卷积层的输出和所述特征图;第二个第二空洞卷积层的输入为所述第一个第一空洞卷积层的输出,第二个第一空洞卷积层的输入为所述第二个第二空洞卷积层的输出和所述特征图;依此类推;其中,前N‑1个第一空洞卷积层、所有的第二空洞卷积层连接构成所述第二空洞卷积模块;N≥2;
所述残差模块包括:
连接单元,用于连接所述施加非线性因素的通用特征、所有第二空洞卷积层的输出和第二空洞卷积模块中最后一个第一空洞卷积层的输出,得到连接结果;
拼接单元,用于拼接所述连接结果和所有第一空洞卷积层的输出;
卷积单元,用于所述拼接单元输出的拼接结果进行卷积操作;
激活函数,用于对卷积单元输出的卷积结果进行映射操作,输出权重图;N个卷积核大小为K×K的第二空洞卷积层对应的采样率分别为[r1,…,ri,…,rn],当i
将所述第二空洞卷积模块中N个第二空洞卷积层均分为两组,每一组内空洞卷积层的采样率公因子均小于或等于1。
14.根据权利要求13所述的图像语义分割系统,其特征在于,还包括预处理模块,用于对所述训练集图像进行预处理。
15.根据权利要求13所述的图像语义分割系统,其特征在于,还包括训练模块,用于对所述语义分割模型进行训练,得到最终的语义分割模型。
16.根据权利要求13~15之一所述的图像语义分割系统,其特征在于,所述融合网络包括:乘法单元,用于将所述特征图与所述权重图相乘;
加法单元,用于将乘法单元输出的相乘的结果与所述特征图相加;
第一卷积单元,用于所述加法单元输出的相加结果进行卷积操作;
第二卷积单元,用于所述第一卷积单元输出的结果进行卷积操作;
正则化处理单元,用于对第二卷积单元输出的结果进行正则化处理;
第三卷积单元,用于对正则化处理后的结果进行卷积操作;
上采样单元,用于对所述第三卷积单元输出的结果进行上采样操作,得到语义分割模型。
17.一种计算机存储介质,其特征在于,其存储有程序;该程序用于执行权利要求1~12之一所述方法的步骤。