1.一种基于Faster R-CNN参数迁移的裂缝图像检测方法,其特征在于,包括如下步骤:
(1)基于Faster R-CNN的多任务增强裂缝图像检测ME-Faster R-CNN;
(2)迁移学习与模型训练:首先通过已准备的裂缝图像数据集对ME-Faster R-CNN模型的结构参数进行预训练,然后使用预训练好的网络权重作为初始化权值,迁移到目标数据集上进行训练和微调,得出检测结果。
2.根据权利要求1所述的一种基于Faster R-CNN参数迁移的裂缝图像检测方法,其特征在于,所述步骤(1)中基于Faster R-CNN的多任务增强裂缝图像检测ME-FasterR-CNN的具体步骤如下:(1.1)特征提取:选取轻量级的ResNet-50作为卷积神经网络,通过5级ResNet-50将图片转换成特征图;
(1.2)特征融合以及候选区域生成:将所得特征图输入多任务增强RPN模型,并改善RPN模型的锚盒大小和尺寸以提高检测识别精度,最后生成候选框,即候选区域;
(1.3)检测处理:将特征图和候选区域发送到感兴趣区域ROI池,完全连接FC层和一个边界回归器,将Faster R-CNN的Softmax分类器改成SVM分类器;感兴趣区域ROI池用于将不同大小的输入转换为固定长度的输出;边界回归器用于确定候选框的位置;SVM新分类器用于确定候选框中是不是目标。
3.根据权利要求2所述的一种基于Faster R-CNN参数迁移的裂缝图像检测方法,其特征在于,所述步骤(1.2)中特征融合以及候选区域生成的具体步骤如下:(1.2.1)多任务增强RPN方法:在ResNet-50的基础上引入多个RPN来产生ROI,提取不同大小特征图,在ResNet-50的第三卷积层Conv3_x后加入一个RPN模块,其感受野大小为146*
146,用来检测较小目标;同时在ResNet-50的第四卷积层Conv4_x后加入一个RPN模块,其感受野大小为229*229,用来检测较大目标;在ResNet-50的第五卷积层Conv5_x之后利用多RPN任务可以输出图像总体信息;
三个卷积层后RPN输出的候选区域均带有建议得分,该分数对应是目标的可能性,在对应位置选取分数最高的一个ROI区域,另外两层对应位置的ROI与所选ROI交并比若大于
0.7,则认为是同一ROI,ROI-Merge Layer的输出数组中对应位置仅输出该得分最高的数组;在非极大值抑制方法之后,选择前100个值较高的ROI;
(1.2.2)改善RPN模型的锚盒大小和尺寸:新型锚盒尺度为:50×50、200×200、350×
350和500×500,其中,50×50和200×200适用于小的裂缝检测,350×350和500×500适用于大的裂缝检测;这四种尺度每种尺寸按1∶1,1∶2,2∶1的长宽比例缩放,共12种尺度作为RPN需要评估的候选框,在预测时候选框的顺序是固定的;RPN的目标就是对原图中的每个锚点对应的12个框,预测其是否是一个存在目标的框;框与真值框的IoU>0.7就认为这个框是一个候选框,反之,则不是。
(1.2.3)训练方法:为了训练RPN,将一个二进制分类标签分配给每个锚点;如果一个锚盒跟所有真值框之一的IoU大于0.7,则称之为正样本;如果一个锚盒跟所有真值框的IoU小于0.3,则称之为负样本;剩下的锚盒既不是正样本也不是负样本,不用于最终的训练;将真值框与回归输出的候选框的位置作比较,用梯度下降法来训练网络;训练RPN的loss函数定义如下:其中,一个mini-batch是由一幅图像中最终选取的所有正负样本组成的,其中正负样本的比例为1∶1,i表示一个mini-batch中第i个锚点,pi表示第i个锚点对应的锚盒是目标的概率,值在[0,1]之间;正样本的 为1,负样本的 为0;ti表示候选框的位置信息, 为真值框的位置信息; 是分类损失函数; 是回归损失函数;
表示只对正样本进行回归操作,负样本的 为0;分类和回归操作分别输出候选框是目标的概率pi和候选框的位置信息ti,这两项分别由Ncls和Nreg以及平衡权重λ归一化,Ncls为mini-batch的大小,Nreg为锚点的数量;
分类损失函数 定义如下:
回归损失函数 定义如下:
其中, 损失函数为:
4.根据权利要求1所述的一种基于Faster R-CNN参数迁移的裂缝图像检测方法,其特征在于,所述步骤(2)中迁移学习与模型训练的具体步骤如下:(2.1)预训练RPN网络:用已标注的裂缝图像数据集上训练好的RPN网络进行参数初始化,然后用小样本大坝真实裂缝图像进行端对端微调;
(2.2)预训练Fast R-CNN网络:在不共享卷积层的基础之上,使用步骤(2.1)训练得到的RPN候选区域来训练一个单独检测网络,即将通过候选区域截取原图作为Fast R-CNN的输入,再通过特征提取、目标分类、边框回归等一系列训练步骤得到网络参数,将其作为Fast R-CNN的初始参数;
(2.3)训练RPN网络:在共享卷积层的基础之上,使用步骤(2.2)训练得到检测网络初始化RPN训练,微调RPN独有的层共三层。此时固定网络公共部分的参数,只更新RPN独有部分的参数;
(2.4)训练Fast R-CNN网络:在保持卷积层固定的情况下,用小样本大坝真实裂缝图像微调Fast R-CNN网络的全连接层,此时,RPN和Fast R-CNN两个子网络共享相同的卷积层,形成一个统一的ME-Faster R-CNN网络。