1.一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,包括如下步骤:
S1:对数据集进行预处理得到水工建筑物缺陷图像数据集,并将数据集分为训练数据集、测试数据集;
S2:构建基于实例中心特征的轮廓初始化网络,采用DLA-34提取特征,通过预测分支网络生成数据集缺陷初始轮廓;
步骤S2的具体步骤为:
S21:构建一个基于实例中心特征的轮廓初始化网络,其中主干网络为DLA-34,预测分支网络分别是实例中心分支、中心点偏移分支、N边形回归分支以及相对距离分支;
S22:使用主干网络DLA-34对图像进行特征提取,得到特征图;
S23:将得到的特征图并行投入四个分支输出层中,分别得到实例类别和实例中心位置、偏移误差、实例中心与轮廓点相对距离与实例在图像中的相对距离;
S24:通过实例中心、偏移、类别、相对距离组合得到初始化轮廓结果;
S3:构建基于差异化模块的轮廓变形网络,轮廓变形网络由全局变形模块、两个位置编码的Deep Snake模块组成,并在S2的基础上使用训练数据集进行模型训练;
步骤S3的具体步骤为:
S31:构建一个基于差异化模块的轮廓变形网络,由全局变形模块、两个位置编码的Deep Snake模块组成,这些模块将用于执行轮廓变形的不同阶段,并集成位置编码和关键点优先的最近邻匹配算法;
S32:将初始轮廓输入进全局变形模块,得到第一次轮廓变形结果;
S33:将第一次轮廓变形结果、特征提取网络DLA-34输出的特征图以及X、Y坐标通道输入至位置编码的Deep Snake模块,进行第二次的位置编码的轮廓变形,得到第二次轮廓变形结果;
S34:将第二次轮廓变形结果、特征提取网络DLA-34输出的特征图以及X、Y坐标通道输入至位置编码的Deep Snake模块,同时采用关键点优先的最近邻匹配算法进行第三次轮廓变形,得到最终的轮廓变形结果;
S4:将测试数据集输入至步骤S3的训练好的轮廓变形网络中,通过三次轮廓变形得到实例分割后的图像;
S5:持续拍摄水工建筑物的照片,执行步骤S4,得出不同时刻缺陷分割结果,对分割结果进行比较,判断缺陷演进趋势。
2.根据权利要求1所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S1的具体步骤为:S11:选择不同水工建筑物缺陷图像和白天、晚上不同时间的水工建筑物缺陷图像;
S12:将水工建筑物缺陷图像进行数据清洗、增强和标注;
S13:对清洗、增强和标注后的数据分割成训练数据集和测试数据集,比例为7:3。
3.根据权利要求1所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S21中N边形回归分支训练时,选择从实例中心发出的N条射线与实例轮廓的N个交点作为待回归的轮廓顶点射线以Y轴正方向为起始射线,并且等角度选取,角度大小为360/N;在N边形回归分支中,网络被设计为同时预测轮廓点相对实例中心在X轴和Y轴方向上的偏移量;N边形回归分支结构由一个3×3卷积和一个1×1×2N卷积组成,下采样特征图后改变通道数量输出2N通道的二维图像,以表示每个实例的N个轮廓点相对实例中心在X轴和Y轴方向上的偏移量;对实例中心在步骤S21中相对距离分支的训练损失为:
4.根据权利要求3所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S21中实例中心分支的实例中心位置通过求解实例平面质心得到,同时采用椭圆高斯核函数生成热力图,椭圆高斯核函数表达式为:
5.根据权利要求1所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S32中全局变形模块先直接融合中心点特征和所有待回归轮廓点特征,再根据融合后的特征预测初始轮廓变形位移,即
6.根据权利要求1所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S33中位置编码的Deep Snake模块在特征提取网络DLA-34输出的特征图基础上增加X、Y坐标通道,分别表示具体位置的归一化X轴坐标与Y轴坐标;若X、Y坐标通道没有学习到任何信息,那么位置编码的Deep Snake模块此时就等价于原Deep Snake模块;而如果X、Y坐标通道学习到了一定的位置信息,那么Deep Snake模块就具备了一定的平移依赖性,能够更准确预测轮廓变形偏移量。
7.根据权利要求1所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S34中关键点优先的最近邻匹配算法通过道格拉斯-普克算法筛选标注基准轮廓点,以确定轮廓关键点,并用于训练模型;在关键点处进行关键点优先匹配,除此之外选择最近邻匹配机制。
8.根据权利要求1所述的一种基于轮廓的水工建筑物缺陷实例分割方法,其特征在于,步骤S5的具体步骤为:S51:确定水工建筑物的缺陷关键监控区域,根据缺陷演进的预期速度和监测的需求,非汛期普通部位每3天拍摄一次照片,非汛期关键部位1天拍摄一次照片,汛期普通部位1天拍摄一次照片,汛期关键部位1天拍摄两次照片;每次拍摄确保光线条件的一致性;
S52:使用相机对预先确定的监控区域进行拍摄,确保照片可以识别出细小的缺陷;保持相机的位置和角度一致,并将拍摄的照片按日期标记并存档,便于跟踪和检索;
S53:对每次拍摄的照片执行步骤S4进行缺陷的实例分割;记录每次分割的结果,并将其与上一年度同期拍摄进行对比;每次拍摄后,对新的分割结果与前30次结果进行对比分析,对比公式为:S54:根据连续的监测数据,评估缺陷的演进趋势,判断是否存在加速恶化的迹象,如果发现缺陷有显著扩展或新的缺陷出现,进行进一步的现场检查。