1.一种基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,包括图像采集、图像处理及网络模型;
所述图像处理,是指采集后的图像按9:1分为训练集与预测集,使用labelimg对所有图像进行标注,得到含所有目标的真实框的图像,并对所有真实框进行尺寸聚类,得到最适合于乌鳢检测训练的九个真实框尺寸,并调整图像尺寸,形成输入图像,输入图像适用于网络模型;
将输入图像输入到所述网络模型中,对目标检测,输入图像经过1X1卷积提取目标乌鳢特征,并对特征进行整合,调整维度后,插入跨尺度分层特征融合模块,其特征在于,
首先,进行模型训练,将训练集的输入图像,输入网络模型中,训练集的输入图像在所述跨尺度分层特征融合模块中,将输入该模块的所有特征分为n层,共由s个特征映射子集组成,每个特征映射子集都会与其他特征映射子集进行特征上的融合,最后进行连接,形成完整的信息融合,经卷积操作后,输出含有目标置信度、坐标信息以及种类信息的训练结果;
再利用YOLOV4损失函数进行网络参数调整,经过50次训练迭代后,得到适用于网络模型的参数,形成一个检测用的网络模型;
然后对模型进行检测,将预测集的输入图像作为测试图像进行检测,测试图像输入至调整好参数的网络模型,网络模型得到含有候选框目标种类、中心点坐标及宽高信息的预测结果,并将预测结果输入到非极大值抑制模块,非极大值抑制模块基于所有候选框定位准确度得分排名,筛选正确预测框。
2.根据权利要求1所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述图像采集是使用相机采集大小为1920*1080的乌鳢图像;该图像中,因乌鳢躯体细长而导致的紧密相邻情况,形成类内遮挡。
3.根据权利要求2所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述目标检测,经过1X1卷积对特征通道进行信息整合及维度调整后,获得图像包含的所有特征,提取细长乌鳢的躯体姿态,此时的特征对应特征矩阵不同的维度,彼此间相互独立且没有关联,各自相当于独立的个体。
4.根据权利要求3所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述跨尺度分层特征融合模块,在一残差块内部构建分层残差连接,将所有特征分为n层,共由s个特征映射子集组成,即所有的特征平均的分成s个特征映射子集,用xi表示,其中i={1,2,...,s},每一个特征映射子集xi有相同的空间大小,但是与输入特征相比,每个特征映射子集有w个通道,即n=s*w。
5.根据权利要求4所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述特征映射子集均对应一个3X3卷积核,经该3X3卷积核提取特征后输出一个输出特征,该3X3卷积核的输入特征包括该3X3卷积核对应的特征映射子集以及该3X3卷积核之前的3X3卷积核形成的输出特征。
6.根据权利要求5所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,将所有所述输出特征进行融合,形成融合特征子集。
7.根据权利要求6所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述输出特征,都分为两份,一份传递到下一组未融合的特征映射子集对应的
3X3卷积核处进行特征融合,另一份经1X1卷积后,进行信息的处理;待所有特征映射子集组都完成融合后,所有经1X1卷积处理后的特征信息,再经过一个1X1卷积,进行所有信息的整合,完成特征的汇总,得到含有目标种类及坐标信息、置信度的最终预测结果。
8.根据权利要求4所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述跨尺度分层特征融合模块的卷积层,每一个xi都带有一个3X3卷积层,称为Ki,Ki的输出用yi来表示;除x1外,特征映射子集xi加上Ki‑1的输出特征,一起喂入Ki;Ki的输出不仅输入至Ki+1,并跨尺度输入至Ki+2,Ki+3,直至Ks,yi表示如下: 公式一。
9.根据权利要求8所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,所述非极大值抑制是基于预测框定位准确度得分排名的,同时考虑预测框的得分与重合程度,将得分过高的预测框的得分降低,再根据得分最高的预测框与其他预测框的交并比大小是否超过阈值,判断是否将其他预测框移除,若交并比大于阈值,则将其他预测框移除,再对所有种类进行循环,直至所有种类都完成预测框的筛选。
10.根据权利要求9所述的基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法,其特征在于,首先找出一张图像中得分大于阈值的所有预测框;然后判断所选出的预测框的得分,用t表示;根据得分对筛选出来的预测框进行排序,得到得分最高的预测框,再计算得分最高的预测框与其他所有预测框的重合程度,如果重合程度过程高于阈值,则将获得的交并比值取高斯指数,高斯指数如式二所示: 公式二,
公式二中,e为底数,iou指交并比,bM为当前得分最高预测框,bi表示当前待处理的预测框,σ为常数,取高斯指数后,该预测框得分衰减,衰减后得分如式三所示:
公式三,
公式三中,e为底数,iou指交并比,bM为当前得分最高预测框,bi表示当前待处理的预测框,σ为常数,t为预测框定位精确度得分,得到新得分后,代替原有分数,之后再对保留下来的所有预测框重复进行排序筛选,直至得到最终的预测框。