1.一种基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法,其特征在于,包括以下步骤:S1,对Massachusetts数据集里面的遥感道路图像进行包括平移,旋转和水平翻转,HSV变换等操作来进行数据集的数据扩增,对数据集里面的遥感道路图像的标签图像进行语义约束角计算的数据预处理操作;
S2,使用卷积神经网络提取遥感道路图像的特征图,并在卷积神经网络中加入位置注意力机制和通道注意力机制来计算不同通道和位置的特征权重,让网络模型能够更好的获取不同位置和不同通道的语义信息;
S3,设计主损失函数,辅助损失函数来优化网络参数,其中辅助损失函数计算的是语义约束角的损失,并且建立评估指标F1和评估指标MIOU来对模型的输出结果进行评估;
S4,用训练好的模型在测试样本集上进行测试,经过网络模型的特征提取和特征上采样来得到最终的分割图像;
所述的S1具体步骤为:
S11,先对数据集中的图像进行包括平移,旋转和水平反转的预处理;
S12,再对得到先前处理的图像进行HSV变换操作,HSV变换处理的公式定义如下:maxt=max(r,g,b)
mint=min(r,g,b)
v=maxt
如果r=v,
如果g=v,
如果b=v,
经过上述计算之后,
h=h*60
如果h<0,
h=h+360
其中r,、g、b分别代表红、绿、蓝;h、s、v分别代表色调、饱和度、明度,maxt代表r、g、b中的最大值,mint代表r、g、b中的最小值;
S13,对图像的标签图像进行语义约束角处理:首先对道路的标签图像进行骨架提取算法,采用K3M算法,K3M算法在每次迭代中需要进行六次检查,Phase0,标记出图像中道路的边界;Phase 1,如果该点的邻域中有3个点相邻,其中点为非0,0代表背景,1代表道路,删除该点;Phase2,如果该点的邻域中有3或4个点相邻,删除该点;Phase 3,如果该点的邻域中有3,4,5个点相邻,删除该点;Phase4,如果该点的邻域中有3,4,5,6个点相邻,删除该点;
Phase5,如果该点的邻域中有3,4,5,6,7个点相邻,删除该点;Phase 6,剩余的边界点取消标记,如果Phase 5中没有点被修改,停止迭代,否则返回Phase0;
S14,对道路上的每一个道路点进行语义约束角的计算:首先对于每一条连通标签道路,在其骨架图上提取其中的每个道路的交点记[x1,x2,.........,xn],每两个相邻道路交点之间的点记为[p1,p2,......pn],让pi对其相邻的两个交点分别进行方位角和欧式距离的计算,选取欧式距离小的交点的方位角作为该点的选定方位角并作为其语义约束角,方位角的计算如下:设两个点的坐标分别为[x1,y1],[x2,y2],首先计算坐标增量dx,dy,两个对应坐标分量相减,终点的减始点的dx=x1‑x2,dy=y1‑y2,若dx,dy中有一个为零时,根据另一个的正负决定方位角,方位角为0,90,180,270这四个中的一个,若dx、dy都不为零,则方位角a的定义如下:当dx>0,dy>0时:
a=a;
当dx<0,dy>0时:
a=180‑a;
当dx<0,dy<0时:
a=180+a;
当dx>0,dy<0时:
a=360‑a。
2.如权利要求1所述的基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法,其特征在于,所述的S2具体步骤为:S21,选用Linknet34作为基础卷积神经网络;
S22,在模型中加入通道注意力机制和位置注意力机制:具体地在位置注意力模块中,任一位置的特征的更新是通过图像所有位置上特征的带权加和进行更新,权重是由两个位置上特征的相似性决定的,也就是说无论两个位置的距离只要他们的特征相似那么就能得到更高的权重,通道注意力模块中也应用了相似的注意力机制来学习任意两个通道映射之间的关系,同样通过所有通道的带权加和来更新某一个通道,也就是说任意两个通道只要C×H×W他们的特征相似那么就能得到更高的权重,给定一张道路特征图A∈R ,然后经过一个C×N带有BN层和ReLU层的卷积操作得到两个新的特征B、C,然后将这两个特征reshape到R ,其中N=H×W,然后在B和C的转置上应用一次矩阵乘法,之后应用Softmax层计算位置注意力N×N映射图S∈R ,位置注意力机制的定义如下:
其中Sij表示第i个位置对第j个位置的影响,两个位置的特征越相似对这个值的影响越大;
同时将道路特征图特征A输入到一个带有BN层和ReLU层的卷积层产生另外一个特征图C×N C×H×WD,同样reshape到R ,然后对D和S的转置应用一次矩阵乘法,reshape为R ,然后乘上一个因子α,与特征A进行一个逐元素的相加操作得到最终额的输出E,其计算定义如下:其中α初始化为0然后逐渐学习,通过上面这个公式可以看出最终的特征E的每一个位置都是所有位置的特征和原始特征的带权加和得到,因此能够聚合全局语义信息;
高层特征的每一个通道映射可以看做一个类别明确的响应并且不同的语义响应之间互相联系,通过获取不同通道映射之间的相互依赖性可以有效增强特征图对于特定语义的表征能力,因此设计该通道注意力模块,与位置注意力模块不同的是,通道注意力模块从原C×C C×N始特征A直接计算X,X∈R ,首先对特征图A进行reshape操作至R ,然后在A与A的转置上C×C应用一次矩阵乘法,最终应用一个Softmax层以获得通道注意力图X,X∈R ,其中通道注意力机制的定义如下:其中xji表示了第i个通道对第j个通道的影响,之后对X的转置和A进行一次矩阵乘法然C×H×W后reshape到R ,然后乘上一个因子β,然后与原始特征A进行一个逐元素的加和操作得到最终的特征图E,具体地同理,β初始化为0并且逐渐学习,上个公式表明最终输出的每个通道的特征都是所有通道的特征和原始特征图的带权加和,从而增强了通道特征图之间的全局语义依赖,最终增强了特征图的判别能力。
3.如权利要求1所述的基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法,其特征在于,所述的S3具体步骤为:S31,选取Dice Cofficient Loss作为模型的主损失函数,其定义如下:其中Pi表示第i张预测图,Gi表示第i张标签图片,N表示Batch Size;
S32,选取Cross EntropyLoss作为模型的辅助损失函数,其定义如下:其中i表示第i个样本,N表示Batch Size,y表示样本预测值的语义约束角,表示样本label值的约束角,其中正类为1,负类为0;
S33,进一步的需要选取判断指标F1 Score和MIOU来判断训练出来的图片与标签图片的相似度;选取F1 Score作为评估指标,F1 Score指标的定义如下:其中precision表示精确率,recall表示召回率,precision和recall的定义如下:其中TP为True Positive,代表真阳性:预测为正,实际也为正;
FP为False Positive,代表假阳性:预测为正,实际为负;
FN为False Negative,代表假阴性:预测与负、实际为正;
TN为True Negative,代表真阴性:预测为负、实际也为负;
F1的结果越大,则表示预测图片与所提供的真实标签越为相近;
S34:选取MIOU作为评估指标,MIOU指标就是大家常说的交并比,在语义分割中作为标准度量一直被人使用,交并比不仅仅在语义分割中使用,在目标检测等方向也是常用的指标之一,计算公式为:其中k+1表示共有k+1个类,从0到k类,其中包含一个空类或者背景,pij表示本属于i类但被预测为j类的像素数量,pji表示本属于j类但被预测为i类的像素数量,pii表示真正预测正确的数量。
4.如权利要求1所述的基于双注意力机制与语义约束角的高分辨率遥感图像的道路提取方法,其特征在于,所述的S4具体步骤为:S41,对模型进行多次训练,合理的调整模型参数,如优化器的选取,学习率的选取等,得到最优的模型;
S42,选取测试图片作为输入图片,经过网络模型的特征提取和特征上采样来得到最终的分割图像。