1.一种基于语义分割的桥梁表面裂纹检测方法,其特征在于,包括以下步骤:
步骤1、采集桥梁裂纹图像并对采集到的图像进行像素级语义标注,制作桥梁裂纹分割数据集;
步骤2、构建特征编码器模块,通过多次卷积操作和下采样从原始图片中提取得到多级语义特征;
步骤3、构建基于十字交叉注意力的特征解码器模块,经过多次上采样和卷积操作从原始图片中的高级语义特征逐渐恢复位置信息,将与编码器模块对应的每个解码器层进行跳跃连接,并在跳跃连接处构建连续两个十字交叉注意力模块提取上下文关联,联合高级语义和低级的细粒度表层信息;
步骤4、在分类损失的基础上引入一种类别一致性损失并训练网络,使网络将图像中的每个像素映射到特征空间中的n维向量,以使属于该类别的像素的特征向量则靠近,不同类别的像素的特征向量远离,得到像素级别的分类结果;
步骤5、将网络输出的裂纹分割结果进行形态学骨架提取,并进行裂纹短枝消去以计算裂纹长度,基于骨架方向上的图像裂纹计算宽度,根据比例关系估算裂纹实际大小;
所述步骤3中构建基于十字交叉注意力的特征解码器模块的过程为:所述特征解码器模块的解码路径由三个步骤s4,s5和s6构成,其中每个步骤都包括:一个上采样并在每个上采样中通道数量减半,然后使用两个卷积层,每个卷积层计算后进行一个ReLU激活函数计算,每个步骤的输出分别定义为do0,do1,do2,每个步骤的输出作为下一个步骤的输入;
所述跳跃连接建立在si与s7‑i之间,i∈1,2,3,即编码器模块在多个尺度上提取的对应特征图与特征解码器模块的每个步骤的输出进行连接:编码器模块输出eo2特征图与do0在通道维度进行拼接,记为T0,同理,eo1与do1拼接记为T1,eo0与do2拼接记为T2,所述T0、T1和T2分别作为十字交叉注意力模块三个对应层的输入;
所述s4具体为:在分类损失lseg的基础上引入了类别一致性损失lclass,对于语义分割任务,属于相同类别的像素应该具有相似的特征,而来自不同类别的像素特征差异更大,将这种特性命名为类别一致性,所述类别一致性损失,用于使网络将图像中的每个像素映射到特征空间中的n维向量,以使属于该类别的像素的特征向量靠近,不同类别的像素的特征向量远离,最终损失函数l定义为:l=lseg+mlclass,其中m是权重系数。
2.根据权利要求1所述的一种基于语义分割的桥梁表面裂纹检测方法,其特征在于,所述步骤1具体为:采集多座桥梁的多张不同的裂纹图像原图,从每张原图上随机裁剪出若干张像素大小相同的方形图像,然后将方形图像划分为正样本和负样本,所述正样本和负样本分别代表有裂纹图像和无裂纹图像,从方形图像中筛选出若干张有裂纹图像和若干张无裂纹图像制作桥梁裂纹分割数据集,并将桥梁裂纹分割数据集中的若干张图像作为测试集。
3.根据权利要求2所述的一种基于语义分割的桥梁表面裂纹检测方法,其特征在于,所述正样本包括网状裂纹图像,具有抖动模糊的裂纹图像,低对比度的裂纹图像,具有复杂背景纹理的裂纹图像和具有水渍干扰的裂纹图像;所述负样本包括蜂窝麻面,剥落掉角,空洞孔洞,钢筋锈蚀,天空,树木,水渍和阴影。
4.根据权利要求1所述的一种基于语义分割的桥梁表面裂纹检测方法,其特征在于,所述步骤2具体为:构建特征编码器模块,编码器模块的编码路径包括依次连续的三个步骤,分别记为s1,s2,s3,其中每个步骤的输入记为ei0,ei1和ei2,其中ei0为原图,每个步骤都包括:使用两个卷积层,每个卷积层计算后进行一个ReLU激活函数计算,然后以步长为2进行一个下采样的最大池化,并在每个下采样中通道数量加倍;编码器模块在每个步骤提取不同尺度的图像语义特征,将每个步骤的输出记为eo0,eo1和eo2,每个步骤的输出作为下一个步骤的输入,即eok=eik+1,k∈0,1。
5.根据权利要求1所述的一种基于语义分割的桥梁表面裂纹检测方法,其特征在于,所述十字交叉注意力模块的工作过程为:输入特征图T,经过1×1卷积层计算生成两个低维特征Q和K,Q和K通过“相似性”操作进一步生成注意力图A;在Q的空间维度上的每个位置u获得向量Qu,同时,通过与位置u在同一行或同一列中的K提取特征向量来获得Ωu集合,用Ωi,u表示Ωu的第i个元素;所述“相似性”操作定义为:其中,di,u是特征Qu与Ωi,u之间的相
关程度,i=[1,....,H+W‑1],然后在通道尺度上对D应用softmax得到注意力图A;
在T上应用另一个1×1卷积层计算以生成V以进行特征自适应,在V的空间维度上的每个位置u获得向量Vu和集合Φu,所述集合Φu是V中特征向量的集合,V中特征向量位于位置u的同一行或同一列中,通过 将上下文信息添加到局部特征T中以增强像素方式的表示;其中,所述 用于提取上下文信息,所述T′u是
T′中位置u处的特征向量,所述Ai,u是通道i和A中位置u处的标量值;
在特征解码器模块最后一层使用1×1的卷积层计算将特征向量映射到所需数量的类。
6.根据权利要求1所述的一种基于语义分割的桥梁表面裂纹检测方法,其特征在于,所述s5具体为:使用最大圆盘的方法定义骨架,其目标骨架由目标内所有内切圆盘的圆心组成,所述最大圆盘法表示为: 其中 式中B是一个结构元, 表示对A的连续j次腐蚀,
针对骨架化过程形成的短枝,首先对裂纹图片进行遍历,迭代删除一个区域的边界点,边界点的定义是:像素值为1且至少有一个相邻像素值为0的像素点其中0代表的是背景区域的点,1代表的是裂纹区域的点,采用8领域表示,采用两步骤判断边界点是否为删除点,在步骤I中,如果满足以下条件则将一个轮廓点p1标记为删除点:式中,N(p1)表示非零相邻像素数量,T(p1)表示p2,p3,...p9,排序序列从0到1的抓换次数;
在步骤II中,保持上式(a)、(b)条件不变,(c)、(d)条件变为:
判断方式为:第一步应用步骤I条件,若违反步骤I中条件(a)~(d)至少一个条件则p1值不变,若满足所有条件,则标记为删除点,在所有边界点应用步骤I后将删除点的值修改为0后进行删除;第二步对第一步结果应用步骤II的条件,规则同第一步;最后得到的点形成的图像即为修剪过的裂纹骨架;
由于在间断裂缝连接过程后不会再出现裂缝间断问题,所以直接求裂缝长度;
在骨架的方法的基础上,运用一种图像裂纹的宽度像素的计算方法:因为骨架上的图像是单像素的图像,根据骨架图像求骨架线上每个点的切线方向并计算出裂缝中各点的切线,再计算骨架线上与切线垂直的法线,法线与裂缝边界的交点距离即为裂缝的宽度;
根据实际桥梁裂纹与图片裂纹比例关系估算裂纹大小:根据实际场景和照片的比例关系,最后根据分割出来的桥梁裂纹图像乘以该比例关系即估算得到图中的裂纹的实际的长度和宽度。
7.一种利用如权利要求1所述的一种基于语义分割的桥梁表面裂纹检测方法的系统,其特征在于,包括:数据采集模块,用于采集桥梁裂纹图像并对采集到的图像进行像素级语义标注,制作桥梁裂纹分割数据集;
编码器模块,用于通过多次卷积操作和下采样从原始图片中提取得到多级语义特征;
基于十字交叉注意力的特征解码器模块,用于经过多次上采样和卷积从原始图片中的高级语义特征逐渐恢复位置信息,从与编码器模块的每个对应层解码器进行跳跃连接,并在跳跃连接处构建连续两个十字交叉注意力模块提取上下文关联,联合高级语义和低级的细粒度表层信息;
损失计算模块,用于在分类损失的基础上引入一种类别一致性损失并训练网络,使网络将图像中的每个像素映射到特征空间中的n维向量,以使属于该类别的像素的特征向量则靠近,不同类别的像素的特征向量远离,得到像素级别的分类结果;
裂纹计算模块,用于将网络输出的裂纹分割结果进行形态学骨架提取,并进行裂纹短枝消去以计算裂纹长度,基于骨架方向上的图像裂纹计算宽度,根据比例关系估算裂纹实际大小。