1.一种基于交错感知卷积的单阶段无锚框目标检测方法,其特征在于包括如下步骤:步骤(1)划分CenterNet网络结构;
步骤(2)对CenterNet进行优化设计,使用Pytorch深度学习框架搭建神经网络;
步骤(3)将训练数据集送入神经网络进行训练;
步骤(4)使用步骤(3)中训练好的神经网络进行推理;
所述步骤(1)中,划分CenterNet网络结构,步骤如下:
1‑1.骨干网络;CenterNet的骨干网络由堆叠沙漏网络构成,用于特征提取;
1‑2.角点网络;角点网络包括角点池化层和角点提取层;角点池化层将骨干网络输出的特征图作为输入并进行池化操作,得到左上角点映射图、右下角点映射图和中心角点映射图;角点提取层对三个角点映射图分别做角点提取,提取出各角点坐标、嵌入值和偏移值作为网络输出;
1‑3.角点后处理;用来处理角点网络的输出,但不会参与网络训练;该角点后处理主要工作:①选取得分最高的K个左上角点和右下角点;②用偏移值来修正左上角点、右下角点和中心角点坐标;③通过嵌入值来匹配左上角点和右下角点并产生检测框;④将检测框中心区域与中心角点做匹配,中心角点位于中心区域且类别一致则保留,否则舍弃;⑤使用Soft‑NMS方法进一步筛选检测框;
所述步骤(2)中,对CenterNet进行优化设计,使用Pytorch深度学习框架搭建神经网络,步骤如下:
2‑1.构造骨干网络;
2‑2.角点网络;
所述的骨干网络的构造如下:
2‑1‑1.构造交错感知卷积模块;用3×3的普通卷积和空洞率为1的3×3空洞卷积分别计算输入x;两个卷积的计算结果各自进行ReLU激活与Batch‑Normalization后,再逐像素相加;然后再进行3×3的普通卷积并进行ReLU激活与Batch‑Normalization;最后输出结果;
2‑1‑2.构造残差模块;残差模块由两个连续的交错感知卷积模块构成,此外再添加残差模块内部从输入到最后一个交错感知卷积模块输出部分的跳层连接;如果输入维度与交错感知卷积模块的维度不同,则跳层连接部分还会进行额外的1×1卷积进行维度调整;残差模块输出将由跳层连接所连接的输入和输出融合得到;
2‑1‑3.构造骨干网络;骨干网络由一个预卷积和16个残差模块组成;预卷积连接网络的输入,采取7×7的卷积操作,并把维度调整到64维;16个残差模块的维度依次是128,128,
256,256,384,384,512,512,512,512,384,384,256,256,128,128;骨干网络中也会有跳层连接;第2个残差模块的输出经由1×1卷积后与第15个残差模块输出融合,作为第16个残差模块的输入;与此类似,第4个输出与第13个输出连接、第6个输出与第11个输出连接、第8个输出与第9个输出连接。
2.根据权利要求1所述的一种基于交错感知卷积的单阶段无锚框目标检测方法,其特征在于所述的步骤2‑2角点网络具体实现让如下:角点网络用于获取中心角点并回归中心角点与检测框上、下、左、右的距离;首先通过3×3的卷积对骨干网络的输出特征做缓冲,然后经由中心角点池化层从特征图中提取角点信息;令W,H分别是图像的宽和高,C是通道数且c∈C,中心角点池化层中计算的角点计算公式如下:
Cornerleft={xi,j,c|Max(xi,j),i∈(i,W)}Cornertop={yi,j,c|Max(yi,j),j∈(j,H)}Cornerright={xi,j,c|Max(xi,j),i∈(0,i)}Cornerbottom={yi,j,c|Max(yi,j),j∈(0,j)}Cornercenter=Cornerleft+Cornertop+Cornerright+Cornerbottom然后将该角点特征图分别进行三个处理操作:①角点分类;先进行3×3的卷积,再做1×1的卷积,其中输出维度是分类数;②角点得分;先进行3×3的卷积,再做1×1的卷积,其中输出维度是1;③边框回归;该回归过程回归的是中心角点与四条边框的距离;先进行3×
3的卷积,再做1×1的卷积,其中输出维度是4;最后将这三个处理操作的输出拼接到一起作为输出。
3.根据权利要求2所述的一种基于交错感知卷积的单阶段无锚框目标检测方法,其特征在于所述步骤(3)中,将训练数据集送入神经网络进行训练,步骤如下:
3‑1.将训练数据送入网络,获取网络输出结果;
3‑2.对每个样本,从其标注信息中提取dt、db、dl、dr、类别和中心角点,其中dt、db、dl、dr分别是中心角点与上、下、左、右边框的边界距离,定义:Lclass=Lfocal‑loss(claSSpred,classgt)Lcenter=LED(loccenter,loccg)Lborder=LMSE(dt,dtg)+LMSE(dl,dlg)+LMSE(dr,drg)+LMSE(db,dbg)Lzd=Lclass+Lcenter+Lborder其中,classpred是训练得到的类别矩阵,classgt是类别的Ground Truth矩阵,Lfocal‑loss是Focal Loss;loccenter是训练得到的中心角点矩阵,loccg是中心角点的Ground Truth矩阵,LED求的是两个中心角点的欧氏距离;dt、db、dl、dr是训练得到的边界距离矩阵,dtg、dbg、dlg、drg是边界距离的Ground Truth矩阵,LMSE求的是两个参数的均方差;最后将Lzd的值反向传导,更新网络中参数。
4.根据权利要求3所述的一种基于交错感知卷积的单阶段无锚框目标检测方法,其特征在于:所述步骤(4)中,使用步骤(3)中训练好的神经网络进行推理,步骤如下:
4‑1.将测试数据送入网络,获取网络输出结果;
4‑2.根据步骤(3)中描述,网络输出包含类别概率、角点得分和边框距离回归值;使用Soft‑nms对每一类别的角点分别进行筛选,减少IoU重叠率高的框;最后将结果输出。