1.一种图像语义分割方法,其特征在于,所述方法包括如下步骤:步骤一、获取待训练图像;
步骤二、对所述待训练图像进行特征提取以得到多个待训练特征区域,根据多个所述待训练特征区域以及对应的人工标注标签组成第一数据集;
步骤三、构建融合神经网络模型,利用所述第一数据集对所述融合神经网络模型进行训练以得到训练后的融合神经网络模型;
步骤四、将预测区域图像输入至所述训练后的融合神经网络模型中进行预测,以得到模型预测结果;
在所述步骤二中,对所述待训练图像进行特征提取的方法包括:对所述待训练图像进行预处理操作,其中预处理操作包括灰度变换以及高斯滤波变换;
对预处理操作后的所述待训练图像,采用带有动态权值分配机制的边缘提取算子分别进行边缘提取以得到四张边缘提取图像,其中所述带有动态权值分配机制的边缘提取算子包括边缘提取算子Canny、边缘提取算子Sobel、边缘提取算子Prewitt以及边缘提取算子Log;
根据四张所述边缘提取图像计算得到灰度均值图像 ;
根据所述灰度均值图像 计算得到每个所述边缘提取图像对应的标准差 以及变差系数 ;
所述灰度均值图像 表示为: , 分别表
示四张边缘提取图像;
所述标准差 表示为: , 表示任
一个边缘提取图像, 表示边缘提取图像的行数, 表示边缘提取图像的列数,表示对边缘提取图像的图像灰度值进行求和操作;
所述变差系数 表示为: , 表示对边缘提取图像中各像素值求解得到的像素均值;
在所述步骤二中,在计算得到了每个所述边缘提取图像的变差系数 之后,所述方法还包括:根据所述变差系数 计算得到中间变差系数 ;
根据所述中间变差系数 进行归一化以得到每个边缘提取算子的权重 ,并根据每个边缘提取算子的权重 计算得到最终权重参数 ;
其中,中间变差系数 表示为:
每个边缘提取算子的权重 表示为:
其中, 为边缘提取算子Canny的权重, 为边缘提取算子Sobel的权重, 为边缘提取算子Prewitt的权重, 为边缘提取算子Log的权重;
所述最终权重参数 表示为:
其中, 表示边缘提取图像中像素点的位置, , ,C、S、P、L的数值由边缘提取算子Canny、边缘提取算子Sobel、边缘提取算子Prewitt、边缘提取算子Log处理边缘提取图片在 处的灰度值决定;当灰度值大于0时,C、S、P、L的数值取值均为2;当灰度值小于0时,C、S、P、L的数值取值均为1;
在计算得到了最终权重参数 之后,所述方法还包括:当判断到所述最终权重参数 大于等于零,则确定像素点 为
1;
当判断到所述最终权重参数 小于零,则确定像素点 为0;
在完成像素点 的检测判断之后,对其它每一像素点进行遍历检测判断,以最终确定得到图像分辨率 ,并在 位置的像素点处结束,以得到所述待训练特征区域。
2.根据权利要求1所述的一种图像语义分割方法,其特征在于,在所述步骤三中,所述融合神经网络模型包括ResNet50神经网络模型以及MobileNetV2神经网络模型,所述方法还包括如下步骤:分别从所述ResNet50神经网络模型以及所述MobileNetV2神经网络模型中提取5层特征,其中ResNet50神经网络模型与MobileNetV2神经网络模型中的5层特征均用于多尺度特征融合;
对ResNet50神经网络模型中的5层特征以及MobileNetV2神经网络模型中的5层特征依次进行上采样、卷积以及多尺度特征融合,直至融合完所有底层特征,以得到训练后的融合神经网络模型。
3.根据权利要求2所述的一种图像语义分割方法,其特征在于,训练后的融合神经网络模型的训练流程的公式表示为:其中, 表示从ResNet50神经网络模型以及MobileNetV2神经网络模型中提取出的5层特征, 表示上采样操作, 表示卷积操作, 表示多尺度特征融合操作。
4.根据权利要求3所述的一种图像语义分割方法,其特征在于,对所述融合神经网络模型进行训练的方法中,包括前向传播以及反向传播两部分;
其中在反向传播时,对上采样层、卷积层以及多尺度特征融合层进行权重更新,进行权重更新的权重值公式表示为:其中, 表示在多尺度特征融合操作、卷积操作或上采样操作中第m层第n个神经元, 代表在多尺度特征融合操作、卷积操作或上采样操作中第m层第n个神经元的当前权重值, 表示在多尺度特征融合操作、卷积操作或上采样操作中第m层第n个神经元的下一个权重值, 代表学习率, 表示人工标注标签处的灰度值, 表示经融合神经网络模型处理得到的图像的灰度值, 表示偏微分操作。
5.一种图像语义分割系统,其特征在于,所述系统执行如上述权利要求1至4任意一项所述的方法,所述系统包括:图像获取模块,用于获取待训练图像;
特征提取模块,用于对所述待训练图像进行特征提取以得到多个待训练特征区域,根据多个所述待训练特征区域以及对应的人工标注标签组成第一数据集;
模型训练模块,用于构建融合神经网络模型,利用所述第一数据集对所述融合神经网络模型进行训练以得到训练后的融合神经网络模型;
结果输出模块,用于将预测区域图像输入至所述训练后的融合神经网络模型中进行预测,以得到模型预测结果;
其中,所述特征提取模块还用于:
对所述待训练图像进行预处理操作,其中预处理操作包括灰度变换以及高斯滤波变换;
对预处理操作后的所述待训练图像,采用带有动态权值分配机制的边缘提取算子分别进行边缘提取以得到四张边缘提取图像,其中所述带有动态权值分配机制的边缘提取算子包括边缘提取算子Canny、边缘提取算子Sobel、边缘提取算子Prewitt以及边缘提取算子Log;
根据四张所述边缘提取图像计算得到灰度均值图像 ;
根据所述灰度均值图像 计算得到每个所述边缘提取图像对应的标准差 以及变差系数 ;
所述灰度均值图像 表示为: , 分别表
示四张边缘提取图像;
所述标准差 表示为: , 表示任
一个边缘提取图像, 表示边缘提取图像的行数, 表示边缘提取图像的列数,表示对边缘提取图像的图像灰度值进行求和操作;
所述变差系数 表示为: , 表示对边缘提取图像中各像素值求解得到的像素均值;
在所述特征提取模块中,在计算得到了每个所述边缘提取图像的变差系数 之后,所述特征提取模块还用于:根据所述变差系数 计算得到中间变差系数 ;
根据所述中间变差系数 进行归一化以得到每个边缘提取算子的权重 ,并根据每个边缘提取算子的权重 计算得到最终权重参数 ;
其中,中间变差系数 表示为:
每个边缘提取算子的权重 表示为:
其中, 为边缘提取算子Canny的权重, 为边缘提取算子Sobel的权重, 为边缘提取算子Prewitt的权重, 为边缘提取算子Log的权重;
所述最终权重参数 表示为:
其中, 表示边缘提取图像中像素点的位置, , ,C、S、P、L的数值由边缘提取算子Canny、边缘提取算子Sobel、边缘提取算子Prewitt、边缘提取算子Log处理边缘提取图片在 处的灰度值决定;当灰度值大于0时,C、S、P、L的数值取值均为2;当灰度值小于0时,C、S、P、L的数值取值均为1;
在计算得到了最终权重参数 之后,所述特征提取模块还用于:当判断到所述最终权重参数 大于等于零,则确定像素点 为
1;
当判断到所述最终权重参数 小于零,则确定像素点 为0;
在完成像素点 的检测判断之后,对其它每一像素点进行遍历检测判断,以最终确定得到图像分辨率 ,并在 位置的像素点处结束,以得到所述待训练特征区域。
6.一种可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现上述权利要求1至4任意一项所述的图像语义分割方法。